1. 立项原因与解决的问题
随着大语言模型（LLM）在企业级应用中的快速普及，如何高效、可靠地部署和管理多模型推理服务成为核心挑战。传统方式存在以下问题：
部署复杂：手动部署 Ray 集群、配置 GPU 资源耗时耗力
调度低效：缺乏面向 AI 任务的批量调度能力，资源利用率低下
路由困难：多模型场景下缺乏统一的请求路由机制，无法实现灵活的模型流量分配
扩展性差：难以支持多租户和高并发场景
本项目基于 KubeRay + Volcano + Kthena 构建企业级 AI 推理平台，实现自动化部署、智能路由和高效调度，显著降低大模型服务的管理成本。
2. 行业场景与业务场景
场景 描述
企业 AI 助手 多模型部署（Qwen、Llama 等），为内部员工提供智能问答服务
多租户推理服务 根据用户请求的 model 参数自动路由到对应模型实例
批量推理任务 离线批量处理文档摘要、数据清洗等任务
API 网关集成 对外提供统一的 OpenAI 兼容 API 接口
1. 具体功能
✅ KubeRay 集群管理 — 在 Kubernetes 上自动化部署 Ray 集群，支持 Head + Worker 节点配置
✅ Volcano 调度集成 — 使用 Volcano 实现 AI 任务的批量调度和优先级管理
✅ Kthena 智能路由 — 基于 ModelRoute CRD 实现请求级别的模型路由，支持权重分配
✅ vLLM 高效推理 — 部署 vLLM 作为模型推理引擎，支持量化模型（GPTQ Int4）
✅ RayService 编排 — 使用 KubeRay RayService 统一管理推理服务生命周期
✅ 性能基准测试 — 开发 benchmark 脚本，测试 TTFT、吞吐量、并发能力
2. 主要功能描述
本项目构建了一个完整的 Kubernetes AI 推理平台，核心能力如下：
一键部署：通过 YAML 配置文件快速部署 KubeRay + vLLM 推理集群
智能路由：Kthena Router 根据请求中的 model 参数自动将流量转发到对应模型服务
高效推理：vLLM 引擎支持 PagedAttention、Continuous Batching 等优化技术
统一 API：提供 OpenAI 兼容的 /v1/chat/completions 接口，对外提供服务
性能验证：实测短文本延迟 767ms，8 并发吞吐量达 116.6 tokens/s
. 负责的具体任务
设计与部署 KubeRay + Volcano + Kthena 完整技术架构
编写 RayService、ModelRoute 等 Kubernetes CRD 配置文件
部署 vLLM 推理服务，配置量化模型（qwen3-14b-gptq-int4）
开发性能基准测试脚本，支持模型名参数化
验证 Kthena Router 路由功能，调试 ModelRoute 匹配规则
完成多轮压测，记录 TTFT、吞吐量、并发性能等指标
2. 技术栈与架构
层次 技术
容器编排 Kubernetes (K8s)
AI 集群管理 KubeRay (RayService)
任务调度 Volcano
模型路由 Kthena (ModelRoute CRD)
推理引擎 vLLM
模型 Qwen3-14B (GPTQ Int4 量化)
网络 APISIX Gateway
3. 实现亮点
多模型统一入口：通过 Kthena Router 实现单 API 端点支持多模型自动路由
Volcano 增强调度：利用 Volcano 的 gang scheduling 保证多 Pod 协同调度
量化模型优化：使用 GPTQ Int4 量化，显著降低显存占用
OpenAI 兼容：接口完全兼容 OpenAI API，便于现有应用迁移
4. 实现难点
ModelRoute 配置调试：初期路由规则匹配失败，通过 body.model 字段精确匹配解决
跨组件集成：KubeRay、Volcano、Kthena 三者版本兼容性调试
网络策略配置：确保 Router 到 vLLM 的内部通信稳定
评论