本项目面向长时间使用电脑的年轻办公与学习人群,以 Android 智能桌面宠物为载体,融合 Live2D 悬浮陪伴、强化学习自主行为、情感计算与大模型对话,解决传统桌宠缺乏互动与情绪感知的痛点。立项旨在把握虚拟陪伴与端侧 AI 应用趋势,打造可感知用户状态、主动陪伴并支持跨设备同步的智能伴侣产品。
点击空白处退出提示
本项目面向长时间使用电脑的年轻办公与学习人群,以 Android 智能桌面宠物为载体,融合 Live2D 悬浮陪伴、强化学习自主行为、情感计算与大模型对话,解决传统桌宠缺乏互动与情绪感知的痛点。立项旨在把握虚拟陪伴与端侧 AI 应用趋势,打造可感知用户状态、主动陪伴并支持跨设备同步的智能伴侣产品。
**Pet Desktop** 是一款基于 Android 的智能桌面陪伴宠物应用。宠物以 Live2D 悬浮窗常驻屏幕,支持拖拽、点击、双击、长按等触摸交互,并可切换内置或外部模型,通过前台服务在后台持续运行。
在智能行为方面,系统采用 Q-Learning 强化学习驱动宠物自主决策,结合行为状态机管理待机、游走、睡眠、唤醒等状态,并运用 A* 路径规划实现屏幕内平滑自主移动;夜间自动入睡,用户交互时即时响应并中断自主行动。
在情绪感知与陪伴方面,应用通过分析 App 使用数据推断用户情绪,结合聊天文本情感分析与多模式陪伴策略(安静陪伴、温柔关怀、主动帮助、情绪支持、趣味互动、勿扰),根据用户状态自适应调整反馈方式,并以记忆感知气泡提供情境化关怀。
交互上支持集成大模型的流式 AI 对话,可自定义宠物人设;摄像头手势识别(挥手、点赞、指向等)可触发聊天、打开应用等操作。系统还建立亲密度、信任、能量、心情等关系模型,记录交互记忆与偏好,长期离线会推送关心通知。
此外提供用户行为预测、账号登录与云端数据同步,可在多设备间延续陪伴档案。主界面集中展示宠物状态,并支持一键启停服务及权限管理。
本项目采用四层模块化架构(App / Pet / Algorithm / Core),共 14 个子模块,完成智能桌面宠物从展示到决策的完整闭环。实现内容包括:Live2D 悬浮窗渲染与触摸交互、Q-Learning 强化学习驱动自主行为、A* 路径规划实现屏幕内平滑移动、基于 UsageStats 的情绪分析与行为预测、MediaPipe 手势识别、DeepSeek 流式 AI 对话,以及 Bmob 云端数据同步与亲密度/记忆/陪伴策略系统。
技术栈以 Kotlin + Android(API 26–34)为核心,采用 Coroutines 异步调度与分层模块化架构;渲染层使用 Live2D Cubism SDK(OpenGL ES 3);视觉层采用 CameraX + MediaPipe GestureRecognizer;算法层自研 Q-Learning 与 A* 路径规划;网络层基于 OkHttp 对接 DeepSeek 与 Bmob REST API;本地以 SharedPreferences 与 Q 表序列化持久化。
项目亮点在于端侧多算法融合形成「感知—决策—表达—记忆」闭环;轻量化设计(Q-Learning 替代 DQN、CV 降频采样)兼顾性能与功耗;陪伴系统 2.0 实现关系成长与多模式策略自适应;支持触摸、手势、对话多模态交互;模块高度可替换扩展。
主要难点包括:悬浮窗内嵌 GL 渲染的生命周期与性能管控;前台服务中 CameraX 与多模块协同防泄漏;RL、状态机、路径规划等多链路并发调度的一致性;持续后台运行的功耗平衡;多项特殊权限的分步引导与降级;MediaPipe JNI 16KB 页面对齐兼容;云同步与本地状态的冲突处理;流式对话与悬浮气泡 UI 的实时联动。




评论