Hadoop

项目主要是由四大业务域，20个模块组成1、归档接收与基础编目：全宗门类→案卷条目，接收登记→移交凭证，库房盘点·扫码上架，档号规则、元数据模板。2、保管与安全合规：定密保密·涉密告警，水印策略、访问审计、操作日志，RBAC四层权限+组织对接。3、利用与信息公开：借阅审批·逾期催还，9条件检索·全文命

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、

采集业务库MySQL订单、用户、商品、库存数据，同步至HDFS分层搭建ODS、DWD、DWS、ADS数仓分层模型清洗脏数据、缺失值、重复数据，统一指标口径实现销售总额、客单价、复购率、库存预警等指标计算输出结构化数据同步至MySQL，供报表系统使用

零售管理模块：支持京东平台多店铺订单的统一接入和处理，实现订单全生命周期管理，从订单创建、支付确认、发货出库、配送追踪到签收确认的全流程可视化；集成售后服务模块，支持退换货、售后退款等业务处理，提升客户满意度。采购管理模块：供应商信息管理，实现供应商档案、资质、评级等信息电子化管理；采购订单生成，支

功能模块1.数据采集与接入 ◦对接产线设备（测试机、量测仪、MES系统、ERP系统等），实时采集工艺与测试数据 ◦支持多协议（SECS/GEM、OPCUA、Modbus）与国产设备接口 ◦建立统一数据接入层，解决数据孤岛问题2.数据处理与标准化 ◦数据清洗：去除异常值、补齐缺失值 ◦格式标准化：统一