大模型融合平台产品系统

大模型融合平台是一个集成了多种国产大模型的统一服务平台，为企业提供从模型调用、微调训练到应用部署的全链路 AI能力。平台采用云原生架构，支持弹性伸缩，能够满足不同规模企业的AI应用需求。

聚合 100+ 上游大模型与多模态服务商，提供智能路由、实时计量与多租户隔离;
多租户与配额风控体系，构建 Token 多租户维度配额校验、频道级资源访问控制、团队层级与配额分配；
支撑高并发实时计量、配额管控与账单结算。

1. 主流大模型 API 协议归一化：针对主流大模型厂商的协议差异，实现流式响应解析、Function Calling 适配、多模态内容归一化与 Claude Prompt Caching 缓存配额核算；
2. 双引擎计费架构：跨语言设计两套互补计费引擎——网关侧基于 DSL 表达式驱动的动态阶梯计费（含版本化、饱和保护、预扣费/结算/退差额全链路、零负扣费）；中枢侧设计「Kafka → Redis 聚合缓冲 → ClickHouse 明细 → Quartz 同步 MySQL」 分层管道，实现高吞吐与最终一致性。
3. 原子计费引擎与数据可靠性：自研 Redis Lua 脚本实现幂等写入、批量切批、聚合扣减，规避读写分离副本延迟导致 的丢批/重复扣减；设计 ClickHouse 缓冲区原子切批与刷盘补偿机制，保障进程崩溃下数据零丢失与可恢复。
4. 多租户与配额风控体系：构建 Token 多租户维度配额校验、频道级资源访问控制、团队层级与配额分配；落地用户折扣倍率、部门/团队额度聚合与周期性扣减，处理高精度金额计算。