Personal Agent——基于 ESP32-S3 的桌面个人智能助手产品系统Vibe Coding

本项目面向桌面办公、家庭陪伴和个人事务辅助场景，基于 ESP32-S3 开发具有语音交互、屏幕表情和工具调用能力的 Personal Agent。项目参考 Stack-chan 的桌面陪伴机器人形态，希望让个人 AI 助手拥有可感知、可交互的实体入口。用户通过自然语言与设备交流，由设备连接云端智能服务，逐步扩展到个人记忆、日程提醒和外部设备控制，减少使用手机或电脑操作多个应用的步骤。

项目围绕语音交互、可视化反馈和工具执行三个部分展开。语音模块负责采集麦克风音频、连接云端语音与大模型服务，并播放回复；界面模块通过屏幕表情和状态提示，呈现待机、聆听、思考和说话等交互状态；工具模块通过 MCP 暴露设备能力，让 AI 可以读取设备状态、调整音量和屏幕亮度。

当前基于已有小智工程开展二次开发，已完成源码结构、音频方案、界面及现有 MCP 工具的核查。后续计划增加个人偏好记忆、提醒和业务工具接入，并探索表情与舵机动作联动，使设备从语音问答终端逐步发展为能够辅助执行任务的个人智能助手。

我主要负责硬件方案核查、固件架构梳理、功能规划及二次开发。项目基于 ESP32-S3 和现有小智工程，采用 C/C++ 进行嵌入式开发，围绕音频采集播放、屏幕交互、网络通信和 MCP 工具调用组织功能模块。当前硬件方案采用模拟 MEMS 麦克风、ES8311 音频编解码器及 I²S 音频接口。

实现重点是协调语音、界面和工具调用的执行状态，并将设备控制能力封装为可供 AI 调用的工具。设备端负责采集、显示和执行，云端负责语音处理及大模型推理。当前已完成源码与硬件配置核查，下一阶段进行固件编译、板端联调，并验证拾音效果、交互延迟及连续运行稳定性。