vllm-proxy 统一网关产品系统

公司内网同时运行 Qwen3.8、GLM-5.3、DeepSeek 等多个本地大模型和云端模型，Claude Code 等客户端只认 Anthropic 协议，而多数模型服务只提供 OpenAI 协议；模型切换、长上下文退化、工具调用中断和上游故障都要逐个排查。项目在中间提供统一入口，屏蔽协议与上游差异，保证开发者和自动化任务稳定接入。

网关提供 Anthropic Messages 与 OpenAI Chat Completions 双向转换及 SSE 流式转发，按模型名或别名将请求路由到多个本地/云端上游；内置异常结束恢复状态机、重复风暴看门狗、宣告停手检测与 LLM 判器、流式工具块修复、DSML 协议漂移救援、GLM 熔断守护（G1–G7）和可选转义；同时提供记忆检索与注入、会话状态、日摘要、请求审计和指标查询，支持流式与非流式两种链路。

我负责架构设计与全部实现：基于 FastAPI 编写异步转发层，设计 Anthropic↔OpenAI 的请求、响应、流式三套转换器；实现 recovery 状态机及 109 项回归测试；针对 ≥92K 长上下文单字符退化实现 32 字符看门狗、上游 abort 和透明重发；把 GLM 七道熔断内嵌进代理；完成多上游路由、能力矩阵、会话隔离、审计落盘与指标端点；在生产 10087/10089 两条链路上灰度，处理 Qwen/GLM 换装、别名和上下文窗口等配置问题。