面向企业及 AI 应用构建统一模型接入与 Agent 执行平台,底层基于 Go 实现多模型聚合、路由治理与计量。
点击空白处退出提示
面向企业及 AI 应用构建统一模型接入与 Agent 执行平台,底层基于 Go 实现多模型聚合、路由治理与计量。
底层基于 Go 实现多模型聚合、路由治理与计量,上层基于 Java + LangChain4j 构建 AI 应用服务,并接入 DeepSeek Harness、Goose 等 AgentRuntime,形成模型、Agent、Skills、MCP 与业务系统的一体化执行链路。
设计大模型协议适配层,对 Chat、图片、视频等不同模型接口进行请求参数转换、响应结构归一及异常映射,对上统一提供 OpenAI Compatible API,降低上层业务对不同模型协议的适配成本。
构建模型与渠道解耦的路由体系,支持同模型多渠道接入、模型映射、动态路由及渠道切换,并结合 Redis与 PostgreSQL 管理模型配置、渠道状态、额度及调用记录,提升模型接入与故障切换能力。
建立统一 Token 计量与成本核算链路,对不同模型的输入、输出及多模态调用进行用量记录、倍率换算与额度控制,将模型调用、用户额度、渠道成本及审计日志统一纳入网关治理。
接入 DeepSeek Harness 与 Goose Agent Runtime,打通 Skills、MCP、Tool Calling 与业务服务,通过Runtime + Tool 扩展模型执行能力,实现复杂任务中的 Skill 加载、工具调用、多步骤执行及结果交付。



评论