AI 模型统一接入与调度平台产品系统

随着企业内部多个业务系统逐步引入 AI 能力，不同业务对模型服务的接入、任务调度和流量控制提出了统一治理需求。为降低多业务接入模型服务的复杂度，提升任务处理效率与高并发场景下的运行可靠性，建设统一的 AI 模型接入与调度平台，为多个业务系统提供统一的任务接入、调度和流量治理能力。

1. 统一任务接入：为多个业务系统提供统一的模型任务接入与调度能力，支持同步、异步两种处理模式。
2. 模型级流量控制：根据模型级 QPM 配置控制任务流量，支持按模型服务能力进行流量治理。
3. 异步任务调度：通过任务队列、队列唤醒及任务编排机制处理异步任务，提升任务处理的可控性。
4. 任务可靠性保障：通过分布式锁、信号量控制、失败重试及异常任务处理机制，保障任务调度的可靠性。
5. 算法服务协同：平台将任务分发至 Python 算法编排服务，由算法服务负责 Prompt 组装，并进一步调度大模型和小模型。
6. 统一配置与运行监控：支持基于数据库的配置管理，并提供常规日志和基础设施监控。

本人担任项目技术负责人及核心开发，负责与算法团队梳理业务需求、设计并评审技术方案，承担核心代码实现、代码审阅及关键模块重构，并协同团队完成业务接入和技术支持。

平台采用 Java 后端技术实现统一任务接入、同步与异步处理、模型级 QPM 流量控制及任务调度。针对异步任务处理中的并发控制与失败恢复问题，设计并实现基于任务队列、分布式锁、信号量和失败重试机制的调度流程。平台不直接调用模型服务，而是将任务分发至 Python 算法编排服务，由其完成 Prompt 组装并进一步调度大模型和小模型。

平台已接入十余项业务，集团 VOC 业务逐步接入后，相关业务日均请求量达到数百万级。项目涉及复杂后端平台设计、任务调度、流量治理及跨团队协作。