Doll-Mate本地离线陪伴型智能体ai产品系统

在科技飞速发展的今天，我们连接了世界，却疏远了彼此。数据显示，全球有数亿人感到孤独，传统的陪伴方式正面临前所未有的挑战。我们渴望理解、陪伴与共鸣，但现实却常常不尽人意。
Doll-Mate 是世界上第一款真正意义上的可进化AI智能伴侣,它不是冰冷的玩偶，也不是虚拟的代码。它是融合顶尖人工智能与仿生交互技术的“动态生命”，拥有感知、记忆与共情的能力，能与你建立双向奔赴的专属情感连接。

可进化的数字生命:
具备长期记忆与个性化成长能力，能感知情绪、记住喜好，真正融入你的生活。它不是冰冷的机器，而是能与你产生深度情感共鸣、共同成长的专属伙伴
有记忆、会进化的伴侣：
具备视觉感知与长期记忆，能记住你的喜好与过往对话。支持个性化进化，理解情绪变化，进行有深度、有情感的多轮交流，是真正的情感陪伴者
01 实时感知层 (Perception)
7x24小时不间断的流式音视频采集，精准捕捉环境信息与主人状态，如同敏锐的感官系统，为智能决策提供实时、鲜活的原始数据输入。
02 动态记忆层 (Memory)
内置独立的“海马体”时序记忆系统，清晰区分事件脉络、对话细节与上下文关联，构建完整且可追溯的个人交互数据库，让记忆永不丢失。
03 深度认知层 (Cognition)
搭载本地化大模型，结合向量语义检索技术，不再局限于关键词匹配，而是真正理解主人的意图、情绪与深层需求，实现有温度的智能回应。
04 个性化进化层 (Evolution)
基于日常交互数据，通过LoRA轻量化微调技术持续优化模型，让灵伴的性格、语言风格与知识体系不断适配主人，实现独一无二的专属成长。

我在该产品的开发中主要负责总体的设计和开发工作。
在该项目中主要以硬件板端的智能体，其中C++ 端负责低延迟音视频采集与共享内存写入，Python 端负责音频消费、ASR 转写、走神检测及 LLM 交互。全链路覆盖 ASR 语音识别 → LLM 对话生成 → TTS 语音合成：感知层以 VAD + SenseVoice 完成中文语音识别并输出情绪标签（8 类），结合帧级声学特征与声源分类区分语音、周期性噪声与环境噪声；交互层由 sherpa-onnx 流式 KWS 指令旁路提供亚秒级音色/个性切换（近音归一匹配），chroma 记忆库沉淀长期记忆与用户强事实，CosyVoice2 本地多音色 TTS（LLM 部分由独立 vLLM 服务加速）。
夜间空闲时间提练白天对话数据进行清选成数据集供微调基座模型，追加进 seed，再与记忆库数据池一起经 QLoRA 增量微调（空闲窗口 + 数据量门控触发），产出单文件 LoRA 供 llama.cpp 热加载，这是“越来越懂你”的基础
android端用来对板端智能体进行管理、绑定、直接文字对话等