一个 OpenAI 兼容的 LLM 路由网关,用于降低企业大模型调用成本。核心功能模块:① OpenAI 兼容 API(/v1/chat/completions,支持 SSE 流式),任意 OpenAI SDK 可直接接入;② 模型路由决策器,按任务复杂度在强模型与便宜模型之间自动分流;③ 主模型失败自动故障转移;④ 用量分析,统计 token、费用、省钱比例,并按模型/档位/客户端分布;⑤ Web 管理台,含 Dashboard、模型管理、档位配置、对话测试。实测 52 次请求节省约 76% 模型成本。技术栈 Java 21 + Spring Boot 4.1 + Spring AI 2.0.2 + SQLite,API Key 走环境变量脱敏。
点击空白处退出提示










评论