可交互数字人产品系统

本项目面向数字人交互与智能展示领域，主要解决传统人机交互方式单一、缺乏实时性与沉浸感的问题。在教育展示、企业展厅、虚拟客服等场景中，传统交互依赖人工讲解或简单按钮操作，交互体验较差，难以满足用户对自然语言交流与拟人化表达的需求。

随着语音识别、大语言模型与数字人渲染技术的发展，构建具备“能听、能说、能理解”的虚拟数字人成为趋势。本项目通过整合语音识别、语音合成与大模型能力，实现自然语言驱动的实时对话系统，并结合数字人形象进行可视化表达，提升交互体验与展示效果。

项目主要实现一个可实时交互的 AI 数字人系统，核心功能包括：

语音交互功能：支持语音唤醒与实时语音输入，通过 ASR 模块将用户语音转为文本，实现自然语言输入。
智能对话功能：接入大语言模型，对用户输入进行理解与生成回复，支持多轮对话与上下文理解。
语音合成功能：通过 TTS 模块将文本回复转为语音输出，支持多音色与情绪表达，提升拟人化体验。
数字人驱动功能：结合 2D 数字人渲染与唇形同步技术，实现语音与口型、表情的联动，增强真实感。
实时交互展示：系统可在大屏等场景运行，实现低延迟响应的实时问答与动态展示。

在该项目中主要负责数字人交互链路的设计与实现，重点完成多模块集成与实时通信：

整体架构设计：基于 FastAPI 构建后端服务，将 ASR、TTS 与大语言模型模块拆分为独立服务，通过不同端口进行通信，在主程序中统一调度，实现模块解耦与可扩展架构。
语音识别与合成集成：ASR 模块采用 FunASR，实现实时语音识别、语音唤醒及声纹识别；TTS 模块使用 CosyVoice，支持多音色及情绪语音输出。
对话系统实现：接入大语言模型，实现从语音输入→文本理解→生成回复→语音输出的完整链路，支持连续对话与上下文保持。
数字人渲染与驱动：结合 wav2lip 与 DHLive 实现唇形同步，通过返回面部参数驱动数字人表情变化，实现语音与视觉的实时联动。
技术难点与优化：针对多模块串联带来的延迟问题，通过异步处理与并发调度优化响应速度；通过流式处理提升对话实时性，保证整体交互流畅性。