基于 LightGBM 的短视频用户活跃度分析与预测系统产品系统

短视频与内容平台的用户运营场景。运营通常需要按用户活跃度分层制定召回与内容推荐策略，但原始行为日志分散、噪声大、缺失多，人工拉表只能看到结果，无法判断是哪个行为环节导致活跃下降。本项目立项的目标是把 10 万+ 条用户行为数据整合成可量化的特征体系，提前识别低活跃与流失风险用户，为运营触达、内容偏好分析和留存评估提供数据依据。

系统包含五个模块：① 数据导入与清洗：导入用户行为数据，完成缺失值填充、异常值剔除与字段标准化；② 特征工程：构建「基础属性—行为时序—内容偏好—用户分层」四维特征，并用滑动窗口提取多周期时序特征；③ 用户分层：用 K-Means 对用户聚类，输出分层结果；④ 活跃度预测：用 LightGBM 训练与批量预测，输出活跃度/流失风险；⑤ 可解释与可视化：用 SHAP 展示全局特征重要性和单样本解释，Vue + ECharts 提供用户画像看板、活跃度趋势、批量预测和 SHAP 展示页面。后端 Flask 提供接口，SQLite 存储用户数据与预测结果。

我独立负责全流程：数据清洗与异常值/缺失值处理、四维特征衍生、K-Means 分层、滑动窗口特征、LightGBM 训练评估、SHAP 解释、Flask 接口、SQLite 表结构以及 Vue + ECharts 页面开发。架构为前后端分离：Vue 前端调用 Flask REST 接口，Flask 读取 SQLite 中的用户与预测结果，模型侧使用 Pandas / Scikit-learn / LightGBM / SHAP。难点一：原始数据噪声多、缺失严重，直接训练效果差——通过异常值剔除、缺失填充、多维特征衍生和特征重要性筛选解决；难点二：梯度提升树是黑盒，业务看不懂——引入 SHAP 输出全局排序与单样本解释，使预测可追溯。实现亮点是把特征工程与可解释性打通：四维特征让预测有业务含义，SHAP 让每个预测都能追溯到具体特征。系统已可完整运行，模型评估指标【待补：AUC / 准确率 / RMSE，按实验记录填】。