AI实时语音对话-智能客服产品系统Vibe Coding

面向课程咨询、教育培训和企业智能客服场景，项目用于解决人工客服响应慢、知识口径不统一、重复咨询成本高的问题。用户可通过实时语音向 AI 客服咨询课程价格、开课时间、名额、学习路径等问题，系统结合知识库检索和大模型生成回复，再通过语音播报给用户，适合高频问答、实时沟通和标准化咨询服务场景。

项目核心功能包括实时语音对话、课程咨询问答、RAG 检索增强、知识库/向量数据库、多模态内容支持、ASR 语音转文字、TTS 文字转语音、AI 回复字幕展示、会话状态展示、语音打断、静音控制和音色模拟。系统支持根据用户语音生成文字字幕，调用知识库检索业务资料，再由大模型生成口语化回答，并通过 RTC 通道实时播放 AI 语音。

我负责 AI 后台和核心对话链路设计，搭建 Python FastApi 服务承接第三方大模型回调，接入火山引擎 RTC、ASR、TTS、Ark/Doubao 和 Ark Knowledge Base。前端使用 React、WebRtc、Redux-Toolkit 处理麦克风采集、音频流发布、远端音频订阅和字幕状态渲染。实现亮点包括 RAG 知识库检索、Prompt Pilot 评测优化、HNSW_HYBRID 混合检索、Int8 量化、Metadata 标签过滤、rerank、前缀缓存和 KV Cache 性能优化。