Ai实时语音对话-智能客服产品系统

本项目面向企业热线电话智能客服业务场景。传统客服存在人工坐席成本高、高峰期排队严重、夜间服务能力缺失等问题；同时普通文本大模型方案无法适配实时通话，存在首字延迟高、专有名词检索命中率低、弱网下语音卡顿、回复一致性差等问题。项目构建实时 AI 语音对话客服系统，对接电话 RTC 语音链路，完成 ASR 语音识别、RAG 知识库问答、LLM 推理、TTS 语音合成全流程能力，支撑用户来电咨询、业务查询、问题受理等业务，降低人工客服压力，实现 7×24 小时稳定语音客服服务。

项目包含提示词管理与自动化评测模块、混合检索 RAG 知识库模块、LLM 推理性能优化模块、RTC 实时语音链路模块、AI 研发调试工程模块。提示词模块实现提示词版本管理、自动化评测打分、负样本提示词重构，沉淀调优数据集；RAG 模块完成知识库切片、混合向量检索、量化压缩与标签过滤，提升专有名词检索命中率；推理模块利用 KV Cache、前缀缓存压缩首字响应时延，实现 Token 分级管控；语音模块集成 ASR 识别、TTS 声音复刻，搭配 FEC、自适应抖动缓冲实现弱网下语音稳定对话；研发模块提供可视化评测接口、RTC 回调调试、服务热更新能力，提升团队迭代效率，完整支撑 7×24 小时 AI 实时语音客服对话业务。

本人独立负责 RAG 检索优化、LLM 推理链路调优、AI 研发调试环境搭建以及 RTC 语音业务适配工作。项目基于 Python 后端架构，使用 Milvus 向量库、LangChain、RTC 实时音视频技术；落地 HNSW_HYBRID 混合检索、Int8 量化、KV Cache 前缀缓存、FEC 前向纠错等技术。难点在于语音场景对首字时延、弱网稳定性、专有名词检索精度要求严苛；通过检索策略调优、推理缓存机制、Token 分级管控，解决高延迟、存储占用大、弱网语音断裂等问题，同时建设可视化评测与调试工具，提升团队整体迭代效率。