Hadoop

采集业务库MySQL订单、用户、商品、库存数据，同步至HDFS分层搭建ODS、DWD、DWS、ADS数仓分层模型清洗脏数据、缺失值、重复数据，统一指标口径实现销售总额、客单价、复购率、库存预警等指标计算输出结构化数据同步至MySQL，供报表系统使用

取多系统数据，清洗整合成一张dw表，再基于不同的业务需求在dw表基础上根据不同的业务逻辑不同的业务线和部门再区分成不同业务逻辑不同部门不同业务线的表或者看板，给业务部门和业务人员使用。

功能模块1.数据采集与接入 ◦对接产线设备（测试机、量测仪、MES系统、ERP系统等），实时采集工艺与测试数据 ◦支持多协议（SECS/GEM、OPCUA、Modbus）与国产设备接口 ◦建立统一数据接入层，解决数据孤岛问题2.数据处理与标准化 ◦数据清洗：去除异常值、补齐缺失值 ◦格式标准化：统一