DataAgent 个人长期记忆系统产品系统

1、立项背景:公司数据智能助手 DataAgent 面向内部数据分析师提供对话式问答,但每次对话都是从零开始,用户的分析习惯、常用指标口径、历史结论无法沉淀,反复重新描述背景导致沟通成本高、答案不稳定。
2、行业场景:面向企业内部数据分析场景的对话式智能助手,大模型应用正从"单轮问答"走向"个人记忆化"演进,目前处于快速迭代阶段,尚无成熟通用方案可直接复用。

1、记忆抽取:对话结束后自动从聊天记录中抽取可沉淀的长期记忆候选(如用户常用指标口径、分析偏好),经判别与去重后入库。
2、记忆检索:新对话发起时按语义检索历史记忆,将相关记忆注入对话上下文,免去用户重复描述背景。
3、记忆巩固:离线批处理任务定期对已有记忆做回顾、合并去重与低质量淘汰,防止记忆库随时间膨胀失真。
4、记忆治理:提供删除、审计追溯、质量评测能力,支持问题定位与效果回归。
5、成本与灰度管控:对接大模型调用成本核算体系,支持按名单分批灰度上线。

1、"我"负责的任务:独立设计并实现记忆抽取、检索、巩固三条核心链路的后端服务,搭建离线批处理任务、删除治理与质量评测体系,推动功能从内测上线到覆盖公司内数百名用户。
2、技术栈与亮点难点:基于 Java/Spring 构建服务,ElasticSearch 承载记忆检索,Kafka 承接异步抽取与巩固任务;核心难点一是记忆抽取要"宽召回、严过滤"两阶段把关,避免漏记关键信息又不过度膨胀;二是离线巩固的合并逻辑要与线上实时抽取保持语义口径一致。通过引入结构化质量评测与灰度名单机制,实现了功能的安全迭代与效果可回溯。