电子产品推荐系统产品系统

本项目源于电商平台用户行为数据爆炸式增长但传统技术难以挖掘其价值的行业背景，旨在构建一个数据驱动的智能分析平
台。项目核心工作是借助官方提供的数据，基于微服务架构，整合Spring Boot、Spark、Kafka等技术栈，设计并实现了集
用户行为实时追踪、多维度数据分析与个性化推荐于一体的后端系统。通过构建流批一体数据处理管道，系统能够高效处理
GB级数据，并为前端提供实时可视化大屏与精准商品推荐服务，最终有效提升了用户体验与平台决策效率。

基于Spring Boot的微服务架构设计，构建高可用、易扩展的后端服务体系。设计并实现用户认证、商品管理、购物车、用户行为分析和推荐、商品数据分析等
核心业务的RESTful API，并基于Spring Security构建JWT安全认证体系，为系统提供稳固的业务基础和安全保障。

1. 传统的递归查询（如“查询评论->查询其回复->递归...”）在数据量大时会导致数据库连接耗尽。因此，采用二级评论的
高性能评论系统。为评论表设计parent_id和level字段，明确区分顶级评论与二级回复，从数据结构上解决“无限递归”问
题。通过一条高效的SQL连接查询替代应用程序层的递归，一次性获取层级化数据，提升接口性能。使用Redis缓存热点商
品的评论列表，并对发表评论接口进行限流，有效防止刷评，保障系统在高并发场景下的稳定性。
2. 搭建Kafka三节点集群作为消息枢纽，配置多分区策略实现高吞吐量的数据接收，支持每秒10万+用户行为事件的并行处
理。
3. 使用Spark Streaming开发实时处理应用，通过5秒时间窗口和2秒水印机制处理乱序数据，实时计算PV/UV、商品热度排
行、转化率漏斗等关键指标。
4. 从用户行为数据中提取多维度特征（包括行为频次、时间衰减因子、类别分布等），通过完整的机器学习流水线进行模型
训练和评估。采用基于物品的协同过滤算法作为核心推荐模型，创新性地融合皮尔逊相关系数和余弦相似度计算商品相似
度，有效缓解数据稀疏性问题。使用FastAPI框架部署推荐服务，设计冷启动策略（推荐热门商品）应对新用户和新商品问
题，最终使推荐命中率达到17%。
5.采用MySQL存储结构化业务数据，HDFS存储用户行为日志，Redis缓存热点信息，形成完整的数据生命周期管理方案。
6. 针对Spark Streaming产生小文件的问题，设计独立的数据归档流，通过重分区和自定义文件滚动策略，显著减轻
NameNode压力。
7. 在Hadoop集群上部署Spark、Kafka、Zookeeper等组件，配置YARN资源调度模式，实现资源的合理分配。