面向校园公共空间的互动学习场景,开发运行于 Android 触控终端的 AI 数字人语音问答应用。学生可选择李白、爱因斯坦、鲁班三个角色,围绕诗词文化、科学知识和传统工艺等主题进行语音交流。
项目关注公共终端的实际使用需求,包括大屏可读性、触控操作、多人先后使用时的会话清理,以及网络和设备异常后的恢复。通过角色化表达、语音回答和动态人物展示,为学生提供便于参与的知识互动入口。
当前版本聚焦单终端、单会话场景,已完成核心功能开发与技术验证版本发布,并持续结合现场反馈优化。
点击空白处退出提示
面向校园公共空间的互动学习场景,开发运行于 Android 触控终端的 AI 数字人语音问答应用。学生可选择李白、爱因斯坦、鲁班三个角色,围绕诗词文化、科学知识和传统工艺等主题进行语音交流。
项目关注公共终端的实际使用需求,包括大屏可读性、触控操作、多人先后使用时的会话清理,以及网络和设备异常后的恢复。通过角色化表达、语音回答和动态人物展示,为学生提供便于参与的知识互动入口。
当前版本聚焦单终端、单会话场景,已完成核心功能开发与技术验证版本发布,并持续结合现场反馈优化。
多角色互动:支持李白、爱因斯坦、鲁班切换,配置独立的人物形象、界面主题和角色行为,配套维护知识资料、读音规范及评测用例。
实时语音问答:集成 Coze 实时语音服务,支持按住说话、松开发送及连续语音模式,提供回答字幕、手动停止回答和继续提问。
数字人动态展示:使用 PixiJS 实现本地分层 2D 人物渲染,根据交互状态展示待机、倾听、思考、说话等表现,并通过音频驱动口型。
会话管理:支持查看本次对话记录、空闲超时和会话时限控制,会话结束后清除页面可见记录。
Android 终端支持:提供全屏运行、麦克风权限管理、设备授权、维护设置、异常恢复及版本更新能力,适配横竖屏触控使用。
独立承担需求梳理、功能规划、技术选型、终端与前端开发、AI 服务集成、部署发布及迭代优化,使用 AI 工具辅助研发,并负责方案判断、联调测试和交付质量。
前端采用 React、TypeScript、Vite 和 PixiJS,构建人物切换、语音控制、字幕和对话记录界面;Android 端采用 Kotlin 与 WebView,将前端页面随 APK 内置发布,负责终端展示、权限、设备身份及生命周期管理。
通过 Coze WebSocket 集成语音识别、人物智能体、知识检索和语音合成;使用 Go 实现轻量设备授权服务,结合 Android Keystore 设备签名获取短期访问凭据。
围绕语音打断、音频播放结束判断、连续对话切换、断线恢复和会话清理处理交互状态及异步竞态问题,并建立人物资源校验、自动化测试、APK 签名与发布校验流程。目前已交付可安装的技术验证版本,持续推进目标设备现场验收。




评论