当前线上影视平台积累海量用户观影、点击行为数据，传统单机 MySQL 无法支撑海量行为数据实时统计与用户个性化推荐离线建模。行业普遍存在两大痛点：一是无法实时捕捉平台影片流量热度，运营人员难以及时掌握当下热门影视；二是仅依靠简单热门榜单推送影片，未基于用户历史评分做个性化匹配，用户观影匹配度低、留存差。本项目模拟影视平台真实业务场景，搭建一体化大数据平台，同时覆盖实时流量监控、离线智能推荐两大核心业务场景，解决传统存储与计算架构无法处理高并发流式日志、海量用户评分矩阵建模的行业难题，完整落地大数据采集、存储、实时 / 离线双计算、可视化展示全链路业务流程。
项目分为五大核心功能模块：1. 底层集群环境模块，完成 ZooKeeper、Hadoop、Kafka、HBase 集群部署，创建消息主题与分布式存储业务表，支撑整套数据流转；2.Kafka 消息流转与 Hive 数仓映射模块，实现实时点击日志收发测试，打通 Hive 与 HBase 数据互通，支持 SQL 查询分布式存储数据；3.Spark 离线交互式数据分析模块，基于 Spark Shell 读取电影数据集，通过 Spark SQL 完成影视分类统计探索；4. 实时热门影视监控大屏模块，借助 Spark Structured Streaming 滑动窗口聚合用户点击数据，将热度结果写入 MySQL，SpringBoot 搭配 ECharts 实现前端自动刷新热度柱状图与排行表格；5.ALS 个性化电影推荐 Web 系统，使用 Spark MLlib 协同过滤算法训练推荐模型，批量将用户 Top3 推荐结果写入 MySQL、HBase 双存储，提供两套独立 Web 页面，输入用户 ID 即可查询专属推荐影片与预测评分。
本人独立完成项目全流程开发与调试工作，负责集群环境搭建、全部 Scala 大数据代码、SpringBoot 前后端开发、系统联调与文档撰写。整体采用分布式大数据分层架构，底层依赖 ZooKeeper 做集群协调，HDFS 存储原始数据集，Kafka 作为实时消息缓冲队列，Spark 统一承载离线 SQL、流式实时计算、机器学习建模，HBase 做海量推荐数据分布式存储，MySQL 存储结构化业务数据，SpringBoot+ECharts 实现可视化展示。
实现亮点：采用 10s 窗口、5s 滑动窗口实现实时热度统计，ALS 模型批量生成用户 Top3 推荐，数据同步写入 MySQL 与 HBase 两种存储，开发两套 Web 页面直观对比关系型与分布式存储查询差异；
实现难点：解决 HBase 主机名解析报错、Spark 流式窗口数据重复统计、ALS 批量写入 HBase 连接泄漏、多组件版本依赖冲突等问题，完成全链路端到端调试，整套系统可稳定运行、页面数据实时刷新。
评论