1、立项原因：政企产品体系复杂（云、网、安、算、存、行业应用等），资料分散在手册/方案/报价口径/FAQ中，人工客服与客户经理培训成本高、口径难统一，高峰期易出现响应慢、漏接、答复不一致与重复沟通，影响客户体验与转化。
2、行业场景/业务背景：适用于营业厅/展厅讲解、政企客户经理远程咨询、官网/公众号在线客服、园区/政务大厅自助接待等场景。客户常见诉求包括：专线接入与组网（互联网专线、SD-WAN、IPRAN/OTN承载）、上云与算力（云主机/容器/对象存储/云电脑/智算）、安全合规与运维保障等。项目通过3D数字人实现7×24接待、标准化解答与引导分流，复杂问题汇总关键信息后转人工，达到“机器先接待、人工做关键”的降本增效目标。
1、具体功能模块：
3D数字人接待：可定制形象与展示话术，支持“唤醒词+电话式持续对话”。
语音交互：流式ASR实时转写、静默判定自动提交、支持打断/继续监听。
知识库问答：多轮对话+检索增强，三级卡片结构（编号/路径/要点/口径）便于维护与口径统一。
多模态输出：语音播报同步文字要点，可扩展产品图片/资料链接/引导按钮。
会话与配置：单会话/全局配置更新，TTS引擎与音色动态切换，配置脱敏展示与日志可观测。
业务扩展接口：意图识别/关键词标签触发“推资料、转人工、生成工单、报价咨询”等流程。
2、主要功能描述：用户进入页面或展厅后可被引导提问，系统自动识别需求并给出标准化解答；在高并发或无人值守场景下保障连续接待、统一口径与快速响应，提升客户体验与接待效率。
1、我负责的具体任务：对开源LiveTalking进行工程化改造与模块拆分；搭建后端会话/配置API；接入腾讯流式ASR实现连续对话；实现TTS多引擎（EdgeTTS/腾讯TTS）与音色热切换；完善前端状态机（播报结束触发+超时兜底）保证切换可靠；补齐日志、异常处理与可运维能力。
2、技术栈/架构/亮点/难点：前端WebRTC播放数字人音视频流，配合UI状态与多模态展示；后端Python（FastAPI/aiohttp）维护sessionid会话映射、配置持久化与同步；对话侧对接大模型+知识库检索生成。亮点在于：流式ASR+VAD/静默计时实现免按键连续交互；按会话配置动态重建TTS渲染并支持热切换；前端“播报结束触发+超时兜底/轮询”保证音频异常或无声情况下仍能完成切换。难点集中在会话线程生命周期管理、队列与quit_event控制、网络波动下的流式稳定性与异常恢复。
评论