mayfly开源项目

项目描述：国内首个面向 Spring AI 生态的企业级大模型调用治理中间件，对标 Spring Cloud 微服务治理思想，解决
Spring AI 官方仅提供基础调用接口、通用组件无法适配大模型特殊场景的生态空白。帮助 Java 企业快速实现多模型统一管
理、流量调度、高可用保障和可观测性，零侵入接入现有业务架构。
责任描述：独立开发者
核心技术：
· 独立设计并实现6 层解耦式模块化架构（核心层 / 适配器层 / 路由层 / 负载均衡层 / 熔断降级层 / 自动配置层），具备极
高的扩展性和可维护性
· 基于适配器模式完成 DeepSeek、智谱 AI、通义千问、文心一言、讯飞星火、OpenAI 6 + 主流大模型深度适配，新增模
型仅需实现 1 个接口，零侵入原有业务代码
· 实现权重路由、固定路由、故障自动切换三大核心调度能力，支持自定义流量分配比例，模型故障时自动切换备用节点，
切换耗时 < 500ms
· 基于 Resilience4j 实现模型级细粒度熔断、限流、降级，支持自定义错误率阈值和冷却时间，有效防止大模型调用雪崩
· 集成 Micrometer + Prometheus 构建全链路可观测体系，自动统计调用量、Token 消耗、响应耗时、成功率等核心运
维指标
· 提供开箱即用的 Spring Boot Starter，业务方仅需引入依赖并配置 API Key，1 分钟即可完成多模型能力接入，无需修改
任何业务代码
· 提供 Docker 和 Docker Compose 一键部署方案，本地压测单实例 QPS 可达 220+，99 线延迟 180ms，满足企业级生
产环境性能要求