大模型正从单点试用走向企业级规模化落地。企业对「统一接入、可管可控、可审计」的需求快速上升：业务侧希望一套接口调用多家模型，平台侧需要集中管理密钥、场景、提示词与调用日志，同时支持嵌入检索、重排序等 RAG 能力。
统一 API 网关与场景化封装可显著降低多模型对接成本，缩短应用上线周期，并便于后续做配额、灰度与合规治理。
随着国产与海外模型并存、私有化与公有云混合部署成为常态，屏蔽厂商差异的中间层将长期存在。
面向客服、知识库、办公助理、内容生产等场景，可复用的场景配置与提示词版本管理能沉淀组织能力资产。
行业整体仍处高速增长期，具备统一接口标准、多提供商适配与可观测性的 API 服务，是企业 AI 基础设施中的关键一环，具备持续演进与商业化空间。
本服务对外提供统一的大模型调用能力：调用方只需指定场景与业务参数，由服务端完成模型提供商选择、提示词模板渲染与上游请求封装。
核心能力包括：
场景管理（绑定模型、模板与参数）；
提示词模板多版本管理与变量替换；
模型提供商配置（API 地址、密钥、支持模型列表及网关扩展配置）；
单次聊天与基于 LangChain 的长对话（会话创建、历史维护与查询删除）；
AI 对话日志异步记录（含请求 URL 与完整请求体，便于排查）；
嵌入与重排网关（`/api/embeddings`、`/api/rerank`），可对接 OpenAI 兼容嵌入及 Cohere 风格 rerank，并支持阿里云百炼等专用 endpoint 与嵌入维度白名单。
数据经 model-data-server 落库 MySQL，支持多租户与 JWT 认证；提供 OpenAPI/Swagger 文档，并可通过脚本注册应用与产品能力，便于部署与能力中心纳管。
我主要负责本服务的后端设计与实现：
搭建 Express 应用与依赖注入容器；实现场景、提示词模板、模型提供商的 Repository/Service/Route 分层；
对接 model-data-server 完成多租户数据访问；
基于 LangChain 扩展 CustomLLM、CustomMemory 与 ConversationChain，支撑长对话与可配置超时；
实现 EmbeddingRerankService 与 gatewayConfig 解析，统一转发嵌入/重排并校验 dimensions；
通过事件总线异步写聊天日志；
补充版本化 DDL/初始化脚本、Makefile 部署与迭代自测脚本。
技术栈以 Node.js + Express 为主，Axios 访问上游与数据服务，MySQL（经 model-data-server）持久化，可选 SQLite，OpenAPI 文档，LangChain 对话链。架构上采用「客户端 → API Server → 数据服务 / 各模型提供商」的网关模式，场景配置将业务语义与厂商细节解耦。
难点与亮点在于多提供商参数差异的动态拼装、长对话超时与流式稳定性、嵌入维度白名单与 DashScope 原生协议适配，以及在不改表结构的前提下用 JSON 扩展网关配置。
评论