ipex-llm

ipex-llm

GitHub: https://github.com/intel/ipex-llm

⭐ 星星數: 8626

摘要: 這是一個由Intel開發的開源工具,專門用於在Intel XPU(包括iGPU、NPU和Arc等獨立GPU)上加速本地大型語言模型的推理和微調。

技術堆疊: Python, BigDL, Intel XPU

架構: 專案結構顯示包含應用程式、Docker容器化部署以及針對CPU和XPU的微調配置,支援LoRA和QLoRA等高效微調技術,並整合了Kubernetes部署模板,顯示其專注於生產環境部署和分散式運算。