IPTV 大数据平台产品系统

支撑全省约 1600 万 IPTV 机顶盒用户行为分析 ，高峰期承载约 100 万并发 日志处理 ，实时指标刷新达到 10-15 秒级 ，端到端处理延迟控制在分钟级。

建成直播 、点播 、回看 、时移 、搜索 、订购等 12 类业务 的统一采集与处理链路 ，输出在线总览 、内容热度 、频道收视 、地市分布等核心指标 ，核心指标查询从原来的T+1, 缩短到1小时。

1. 流批一体实时计算架构： 设计 Kafka 实时消费与 HDFS 批处理复用的 Flink 处理框架 ，统一完成原始日志解析 、字段校验 、脏数据 Side Output 旁路及直播 、点播 、回看 、时移等多业务分流；基于 KeyedProcessFunction + MapState 维护用户观看会
话 、设备在线周期及功能态 ，输出用户行为明细与实时运营指标。
2. 解决日志乱序问题准确计算时长： 针对高并发场景下机顶盒日志乱序和跨批次会话断裂问题 ，实现用户维度事件缓冲排序 、10分钟乱序容忍水位线及 Processing Time 定时触发机制 ，保证进入 、播放 、退出事件按正确时序更新；将用户观看状态和设备在线周期持久化至 HDFS ，结合 Flink KeyGroup 分区加载 ，实现 8 路并行处理下跨批次状态连续 、会话不重复不丢失。
3. 基于Flink计算实时指标： 实现总在线 、直播/点播/回看/时移在线人数 、内容/栏目/频道 Top200 、18 地市在线分布及 48 小时趋势等运营指标；采用定时快照降低高频日志直接写 Redis 的压力 ，通过 Redis Pipeline 批量写入支撑大屏低延迟查询 ，Doris 2PC 落库沉淀历史数据；加载 EPG 、频道和用户归属地字典 ，完成节目级收视统计与地域聚合。