负责/参与企业内部大模型API网关管理场景建设,面向企业内多业务系统提供统一大模型调用入口,重点解决接口分散、密钥管理混乱、调用合规性不足和审计困难等问题。网关支持统一鉴权、权限控制、模型路由、配额限流、敏感内容过滤、数据脱敏、成本统计与全链路日志审计,确保每次调用可记录、可追踪、可审计,满足企业合规管理和内控要求。
点击空白处退出提示
负责/参与企业内部大模型API网关管理场景建设,面向企业内多业务系统提供统一大模型调用入口,重点解决接口分散、密钥管理混乱、调用合规性不足和审计困难等问题。网关支持统一鉴权、权限控制、模型路由、配额限流、敏感内容过滤、数据脱敏、成本统计与全链路日志审计,确保每次调用可记录、可追踪、可审计,满足企业合规管理和内控要求。
1. API Key管理:申请、审批、签发、绑定、权限控制、配额、轮换、吊销、泄露检测、审计。
2. 安全围栏看板:内容安全、数据安全、合规态势、风险告警、策略命中、审计报表等看板。
3. 硬件调度监控:GPU/NPU/Ascend资源监控、利用率、显存、温度、功耗、排队、扩缩容、故障转移。
4. 统一鉴权与权限:SSO/OAuth、JWT、RBAC/ABAC、租户隔离、模型/接口级授权。
5. 合规审计:全链路日志、输入输出留存、审批流、责任到人、审计导出。
6. 成本与配额:Token计量、费用核算、部门/项目账单、限流、预算告警。
7. 可观测性:调用量、成功率、延迟、错误率、告警、链路追踪。
项目实践过程:企业内部大模型API网关管理平台
我在项目中担任核心开发与技术负责人,主导后端、数据层和可观测体系落地。项目采用前后端分离架构,后端基于 Flask 构建网关服务,前端使用 Vue,数据层选用 Doris,并全面接入 OpenTelemetry,同时融合公司 OAuth2 角色登录体系。
项目初期,我负责技术选型与架构设计,确定 Flask 做网关、Vue 做控制台、Doris 做审计与指标分析、OTel 做统一观测。针对公司 OAuth2 体系,我设计了角色映射与权限同步方案,将组织架构、角色和项目组信息实时同步到网关权限模型,实现登录态与调用权限一致。
开发阶段,我搭建 Flask 网关核心链路,完成 OAuth2 token 校验、JWT 鉴权和 RBAC/ABAC 动态授权,并对 Flask 做异步化改造和连接池优化,提升并发能力、降低延迟。数据层方面,我设计 Doris 表结构、分区分桶和物化视图,通过 Kafka + Routine Load 实时接入日志与 OTel 数据,将关键看板查询优化到毫秒级。
可观测性建设中,我推动 OTel 在网关、模型适配和硬件调度层落地,统一采集 Trace、Metrics、Logs,并创新性地将 TraceID 与 Doris 审计日志关联,实现全链路追踪与合规审计一体化。前端与 Vue 同事协作完成接口联调和可视化。
测试上线阶段,我组织单测、集成测试、权限校验和压测,灰度发布验证关键链路。上线后持续优化查询与采集粒度,关键接口 P99 延迟降低约 40%。
该项目的创新点在于:OAuth2 角色体系与网关权限动态映射、OTel 全链路追踪与 Doris 审计融合、以及 Doris + Kafka + OTel 实时数据闭环。我个人主导了架构设计、后端开发、数据层建设、可观测落地与跨团队协作。



评论