unsloth

unsloth

GitHub: https://github.com/unslothai/unsloth

⭐ 星星數: 50837

摘要: 這是一個用於大型語言模型(LLM)高效微調和強化學習的Python庫,能夠將訓練速度提升2-5倍並減少70%的VRAM使用量。

技術堆疊: Python, PyTorch, CUDA, setuptools

架構: 專案採用模組化設計,包含核心模型處理、數據準備、CUDA內核優化等模組。從檔案結構可見專注於多種模型格式支援(GPT、Llama、Gemma等)和高效訓練技術(如QLoRA),並包含完整的測試套件驗證不同場景。