智能客服产品系统Vibe Coding

传统客服系统存在三大痛点：通用大模型不了解企业业务知识导致答不准、依赖公有云 API 按 token 计费且数据出网导致成本高与安全隐患、交互方式单一仅有文字。本项目面向企业级智能客服与知识管理场景，采用「RAG 知识库 + 私有大模型 + 实时音视频」组合，提供单租户、私有化部署、数据不出内网的智能客服解决方案，适用于企业内部知识问答、售前售后客服、政企内网知识库等对数据安全要求较高的业务场景。

系统包含五大功能模块：① 知识库文字问答（核心链路）：用户提问经 RAG 检索知识库后由大模型生成回答，回答附带来源引用可追溯，支持流式输出；② 半双工实时语音对话：基于 LiveKit 实时音视频通道，支持语音提问与语音播报，VAD 人声检测过滤噪声，ASR 云端/本地双通道自动回退，TTS 流式合成边出字边朗读；③ 摄像头视觉问答：语音对话同时可开启摄像头，自动截帧经内存流发送多模态模型（图片不落盘），具备视觉意图门控节省算力；④ 统一客服工作台 + 知识库后台：单一 Web 入口集成对话、知识库管理、系统状态面板，全中文界面；⑤ 工程化运维能力：健康检查、速率限制、统一错误码、结构化日志与响应式移动端适配。

独立负责系统架构设计与全栈开发。前端采用 React 18 + TypeScript + Vite 构建客服工作台 SPA，响应式布局适配 320px 以上手机浏览器；后端采用 Python FastAPI + Uvicorn 封装聊天、健康检查与 LiveKit 临时令牌签发；RAG 层基于 AnythingLLM 源码级定制 + LanceDB 向量库 + BGE-M3 本地 Embedding（CPU 可跑）；语音链路基于 LiveKit Agent SDK 编排 Silero VAD、faster-whisper 本地 ASR、sherpa-onnx 本地 TTS 与千问云端语音服务；通过 Docker Compose 全组件编排，Nginx 反代终结 HTTPS/WSS，镜像推送阿里云 ACR。亮点与难点：视觉截帧走 LiveKit 内存流不落盘保障隐私、半双工麦克风自动暂停防自问自答、云端语音失败自动回退本地模型、凭证分层与双鉴权安全设计。