vllm-gfx906

Jan 19 2026

vllm-gfx906

GitHub: https://github.com/nlzy/vllm-gfx906

⭐ 星星數： 364

摘要： 這是針對AMD gfx906架構GPU（如Radeon VII / MI50 / MI60）優化的vLLM推理引擎，專門用於高效能大型語言模型推論服務。

技術堆疊： Python, PyTorch, ROCm, CMake, Ninja, CUDA/ROCm擴展

架構： 專案基於vLLM核心架構，針對AMD GPU硬體進行特殊優化，包含完整的建置系統（CMake/Ninja）、效能基準測試工具和硬體特定擴展模組，支援多種Python版本和分散式推論場景。