导流/Conduit — Self-hosted LLM API Gateway产品系统

我要开发同款
宝石结晶虫2026年04月22日
12阅读

技术信息

语言技术
ReactTypeScriptNode.jsUIPRD
系统类型
Web
行业分类
人工智能企业服务

作品详情

行业场景

LLM API 的碎片化是每个 AI 产品团队的日常摩擦点:不同供应商的密钥分散在各处,
用量无从追踪,一旦某个 key 超限或泄露,排查成本极高。

Conduit 面向三类场景而生——

独立开发者:用一个端点对接所有模型,不再在 .env 里维护一堆 key。
小型 AI 团队:为不同项目、成员分发独立 token,按组设置配额上限,超出自动熔断。
个人 AI 工作流:统一计量多个自动化任务的 token 消耗,量化每条工作流的实际成本。

功能介绍

统一入口
单一 API 端点代理 30+ 供应商(OpenAI、Anthropic、Google、Mistral 等),
切换模型无需改动调用方代码。

密钥生命周期管理
按需签发、禁用、轮换 token;支持模型白名单,限制每个 key 可访问的模型范围。

配额与限速
按 token、按模型、按用户组独立设置 quota;超出上限自动拦截,不产生意外账单。

用量洞察
实时统计请求数、token 消耗、延迟分布;7 天 / 30 天趋势图,定位消耗高峰。

多渠道充值
集成 Stripe 等支付通道,支持余额充值与账期管理。

项目实现

前端 / BFF
Next.js 15 App Router + TypeScript,采用 BFF(Backend for Frontend)架构——
所有对上游的请求经由 Next.js API Routes 中转,前端从不直接持有 session token。

认证
加密 Cookie(iron-session)存储会话,服务端校验,无状态 JWT 不落地浏览器。

样式
Tailwind CSS v4 + 自定义设计系统,支持亮色 / 暗色模式,组件统一封装于
UIComponents.tsx,保持视觉一致性。

上游网关
对接 New-API(Go),负责实际的代理转发、计量与限速;本项目作为其控制面板,
通过 REST API 完成所有管理操作。

部署
Docker 化部署,环境变量驱动配置,前端与网关可独立扩容。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论