octopus

octopus

GitHub: https://github.com/bestruirui/octopus

⭐ 星星數: 1119

摘要: 這是一個為個人打造的LLM API聚合服務,可統一管理多個大型語言模型的API接口。

技術堆疊: TypeScript, Go (推斷)

架構: 採用分層架構設計,包含client層處理API連接、relay層負責請求轉發與負載平衡、server層處理HTTP請求與認證,以及db層管理數據持久化。