llama-cpp-python

Jan 19 2026

llama-cpp-python

GitHub: https://github.com/abetlen/llama-cpp-python

⭐ 星星數： 9910

摘要： 提供Python綁定介面，讓開發者能夠在Python環境中直接使用llama.cpp的LLM推理功能。

技術堆疊： Python, llama.cpp, FastAPI, Uvicorn, NumPy, Jinja2, Pydantic

架構： 核心是C++/Python綁定層，提供低階和高階API，並包含可選的FastAPI伺服器模組，支援多種部署方式（Docker、筆記本、Gradio等）。