Hadoop

1、完成离线转实时的切换，支持日级数十亿的实时数据处理，将计算成本降低至原先的二分之一；2、升级源数据实时接数平台，由flumecode升级到flinksql，资源降低30%，稳定性、灵活性与开发效率提升一倍以上；3、主导实时湖仓全链路的架构与设计，带领团队推进项目阶段性进展并按期落地应用到生产，离

1. 数据源加载：支持加载模拟用户访问数据集；生产环境可读取HDFS中存储的海量日志文件，包含用户ID、访问日期、访问次数字段。​2. 离线聚合统计：基于SparkDataFrame按日期分组，对用户访问次数求和，自动计算每日网站总访问量，并对结果按日期排序。​3. 双模式运行：支持本地调试模式（不

采集业务库MySQL订单、用户、商品、库存数据，同步至HDFS分层搭建ODS、DWD、DWS、ADS数仓分层模型清洗脏数据、缺失值、重复数据，统一指标口径实现销售总额、客单价、复购率、库存预警等指标计算输出结构化数据同步至MySQL，供报表系统使用

取多系统数据，清洗整合成一张dw表，再基于不同的业务需求在dw表基础上根据不同的业务逻辑不同的业务线和部门再区分成不同业务逻辑不同部门不同业务线的表或者看板，给业务部门和业务人员使用。

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行