一款创新型物联网设备的服务器端,实现了物理交互与 LLM 智能的融合。运用到 Python, FastAPI, MySQL, AIOHTTP 以及 OpenAI API 等技术。
点击空白处退出提示
一款创新型物联网设备的服务器端,实现了物理交互与 LLM 智能的融合。运用到 Python, FastAPI, MySQL, AIOHTTP 以及 OpenAI API 等技术。
能理解人类语言的智能多模态用户陪伴毛绒玩具,可发出可爱的叫声、倾听用户的心声,服务端内置有亲密度系统和性格养成系统,以及与玩具互动达到一定需求后能够解锁的“成就系统”,均可通过微信小程序查看。
• 端到端架构:确立了整套控制流程和数据库模式,整合了硬件信号、AI推理后端和面向用户的移动应用程序。
• 多模态转译:设计开发物理交互系统,通过内置规则将原始传感器数据(触摸持续时间/面积)转译为通顺的自然语言,使人工智能能够“感受”并对用户触摸做出反应。
• 上下文记忆:开发出特制的LLM记忆模块,用于保存长期用户历史记录,使玩具能够发展出性格特点并每日为用户生成个性化的“日记”。
• 情绪中心:设计出多阶段的情绪分类工作流,该工作流处理聊天记录和物理输入,计算出“亲密度”和“成就”指标,驱动玩具的实时行为变化。
• 可扩展用户后端:实现了基于FastAPI的CRUD系统,并采用WebSocket接口,确保实体玩具状态与微信小程序前端实时同步。



评论