Hadoop

平台主要分为离线数据处理与实时数据处理，离线数据主要用来提供每日的数据报表(日活、留存等)及各维度数据的分析结果，实时数据则为其他业务线提供实时数据服务及实时报表。同时平台会对接推荐系统、日志系统、监控平台、数据可视化后台（BI）、运营后台，并对外开放API，为线上业务提供实时的数据统计服务。平台支

项目背景：离线链路只能T+1、业务看不到「现在卖得怎么样」，故补分钟级实时链路，与离线集群同机共存构成Lambda架构雏形|▪实时ETL与数据质量验证：高仿真订单生产者模拟真实生产：泊松到达+21点峰值波峰+8品类加权+二八用户分布，注入1%脏数据验证清洗拦截与巡检不误报；FlinkSQL事件时间+

项目背景：基于淘宝公开订单数据集（99,457行×9列、39个月）从零搭建离线数仓，为报表与自助分析提供统一口径销售指标|▪分层建模与ETL：ODS→DWD→DWM→DWS→DM五层+dim；针对尾逗号、日期混乱、浮点噪声（16%行受影响）等脏数据，DWD八步清洗（去重、缺失值、异常过滤、round

项目分为投资者概览，投资者检测，以及重点关注投资者三个大板块，概览展示投资者群体的大数据，检测重点展示对比数据以及不同维度下的趋势变化，重点关注投资者主要为更细致的行为数据展现