LlamaFactory

LlamaFactory

GitHub: https://github.com/hiyouga/LlamaFactory

⭐ 星星數: 66022

摘要: 這是一個統一的、高效的大語言模型和視覺語言模型微調框架,支援超過100種模型,並在ACL 2024發表。

技術堆疊: Python, PyTorch, Transformers, DeepSpeed, Accelerate

架構: 專案結構包含資料處理、多種硬體支援(CUDA/ROCM/NPU)、多種優化策略(DeepSpeed/Accelerate)和擴充範例,顯示其為模組化設計,支援分散式訓練和跨平台部署。