Hadoop

项目背景：离线链路只能T+1、业务看不到「现在卖得怎么样」，故补分钟级实时链路，与离线集群同机共存构成Lambda架构雏形|▪实时ETL与数据质量验证：高仿真订单生产者模拟真实生产：泊松到达+21点峰值波峰+8品类加权+二八用户分布，注入1%脏数据验证清洗拦截与巡检不误报；FlinkSQL事件时间+

项目背景：基于淘宝公开订单数据集（99,457行×9列、39个月）从零搭建离线数仓，为报表与自助分析提供统一口径销售指标|▪分层建模与ETL：ODS→DWD→DWM→DWS→DM五层+dim；针对尾逗号、日期混乱、浮点噪声（16%行受影响）等脏数据，DWD八步清洗（去重、缺失值、异常过滤、round