在智能硬件和个人办公场景里,语音助手大多只能完成单次问答。会议录音、日程、知识碎片和成稿文档分散在不同工具中,用户要在手机、耳机和电脑之间来回切换。说过的内容留不住,会后纪要和待办对不上,复杂问题也很难变成可以继续修改的结果。本项目因此立项建设 Crspy(PA,Personal Assistant),把 AI 对话、会议纪要、日程任务、知识库和文档编辑收成同一套体验,解决信息记不住、任务落不下去的问题。客户端用 Flutter 壳承载原生能力,核心业务界面由 H5 提供,同时服务国内和海外用户。
主要功能按模块划分。对话是统一入口,支持流式问答、深度研究、任务分解、耳机连续对话、新手引导和历史会话。会议模块覆盖录音上传、实时转写、说话人区分、摘要生成和待办提取。日程模块提供日视图、周视图、会议简报、任务和提醒。知识库负责碎片采集、合并加工,以及按会话隔离的检索。文档模块提供富文本编辑、章节结构、图表和 AI 改写,并同步到云空间。桌面端项目工作台把对话和文档放在同一页。另外还有订阅支付、账号与记忆、翻译、播客、个人中心和系统设置。用户可以从一句话或一段语音开始,由助理完成理解、检索和生成,再把结果落到纪要、日程、知识或可编辑文档里。
我负责前端工程 global-h5-omni 的业务页面和端内适配。页面运行在 Flutter 客户端的 WebView 中,桌面端另有宽屏壳,两端共用同一套对话和业务逻辑。登录、支付、录音、分享等原生能力通过 DSBridge 调用。技术栈为 React、TypeScript、ice.js,移动端使用 antd-mobile,桌面端使用 Ant Design,状态使用 Zustand,多语言使用 i18next。对话结果用 SSE 流式渲染,并维护深度研究、任务分解等长任务状态。文档编辑基于 Tiptap,自定义章节和图表节点;AI 改写只推送任务状态,正文由接口回写。后端由 Spring Cloud Gateway 把流量分到会议、知识库、日程、账号、翻译等 Spring Boot 服务,主对话长连接、语音识别和语音合成由 sysagent 与 voice 服务承担。难点是同一套页面要同时适配手机 WebView 和桌面宽屏,流式消息、会话切换和编辑器任务不能互相冲掉,国内海外环境与端能力协议也要保持一致。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论