llama.cpp

Jan 19 2026

llama.cpp

GitHub: https://github.com/ggml-org/llama.cpp

⭐ 星星數： 93250

摘要： 這是一個使用C/C++實現的大型語言模型推論框架，專注於高效能的本地端AI模型執行。

技術堆疊： C++, C, Python, CMake, Jinja2

架構： 專案採用C/C++核心架構，搭配Python工具鏈進行模型轉換和效能測試。從檔案結構可見包含完整的CI/CD流程、效能測試套件和跨平台建置系統，顯示其專注於高效能推論和生產部署。