基于多模态大模型（LMM）的笔记流推荐系统设计 - 从“猜你喜欢”到“懂你所需”产品系统

作为项目整体负责人，主导设计并实现了基于多模态大模型（LMM）的推荐系统，旨在提升个性化推荐的准确性和多样性，彻底解决传统协同过滤算法中的冷启动问题。系统采用"召回-排序"两层架构，通过ImageBind模型将物料内容（图文/音视频）转换为统一语义空间中的向量表示，并利用Milvus向量数据库进行高效的近似最近邻搜索。结合用户行为数据构建用户兴趣向量，通过多路召回策略获取候选集，并在排序层使用多因子加权策略进行精细化排序，最终输出高质量推荐结果。

基于多模态大模型(ImageBind)的推荐系统，主要解决传统协同过滤算法的冷启动问题和信息茧房现象。系统通过深度语义理解内容特征，能够实现跨模态推荐，并提供更加多样化的推荐结果。
系统主要分为离线处理层、数据存储层和在线服务层三个部分，采用召回-排序的两阶段推荐架构。在召回阶段使用多种策略并行检索候选内容，在排序阶段通过加权算法对候选内容进行精细化排序。
主要特点包括：
- 利用ImageBind多模态大模型深度理解内容语义
- 采用Milvus向量数据库实现高性能向量检索
- 使用Redis存储用户画像和全局统计信息
- 实现了多路召回策略和多因子排序算法
- 通过布隆过滤器实现高效的已读内容去重

- 需求分析与系统架构设计
- 主导需求调研，明确项目目标与核心价值，撰写需求及技术文档。
- 设计完整的系统架构，包括离线处理层、数据存储层与在线服务层，保障系统高可用、高性能与良好扩展性。
- 关键技术选型采用ImageBind作为多模态嵌入模型，Milvus作为向量数据库，Redis作为高速缓存。
- 离线处理层开发
- 物料数据获取模块从ODPS数据仓库提取笔记数据与用户历史行为数据。
- 物料向量化处理基于ImageBind模型，将文本、图片等内容转为统一高维向量表示。
- 用户画像构建根据用户近期行为序列，通过时间衰减加权平均生成用户兴趣向量。
- 全局索引构建计算物料热度分与新鲜度分，为热门和新鲜内容提供推荐基础。
- 用户状态构建为每个用户建立布隆过滤器与近期列表，用于快速去重与多样性控制。
- 在线服务层开发
- 基于FastAPI框架开发高性能推荐接口，支持新老用户差异化召回策略。
- 实现多路召回策略，包括用户兴趣召回、实时行为召回、热门召回、探索召回及新用户召回。
- 排序层采用多因子加权打分公式，综合用户-物料相似度、物料热度、新鲜度与多样性等因子进行精细排序。
- 利用布隆过滤器快速过滤已浏览物料，提升用户体验。
- 性能优化与系统运维
- 优化Milvus向量检索，合理配置索引与搜索参数，提升检索效率。
- 使用Redis缓存热点数据，降低数据库压力，提高响应速度。
- 开发布隆过滤器、日志工具、Milvus客户端等辅助工具类。
- 实现Softmax、余弦相似度等数学工具函数，支持系统各类计算需求。