制造多源数据平台运维与数据治理系统产品系统

面向东莞顺源科技光电自动化设备制造业务，企业存在ERP订单、产线IoT雷达、售后工单多套数据孤岛，ETL定时任务频繁报错、数据库查询卡顿、脏数据无自动校验、各部门统计口径混乱问题，本项目搭建完整数据运维体系，保障生产、销售、售后全链路数据稳定可靠输出。

项目分为五大核心功能模块：①数据库巡检运维模块，自动巡检数据表、优化慢SQL、清理冗余历史数据；②ETL调度监控模块，实时监控数据同步脚本运行状态，任务失败自动告警；③数据质量校验模块，自动识别空值、重复、逻辑冲突脏数据；④数据资产权限管理模块，统一管控各业务数据访问权限；⑤故障复盘运维模块，记录数据异常故障并输出优化方案，解决数据中断、查询缓慢、统计标准不统一等业务痛点。

1. 使用MySQL承载企业生产、订单、售后全量业务数据，编写Shell定时脚本实现数据库自动巡检、日志收集；
2. 通过Python+Pandas开发数据质量校验程序，对产线设备、客户订单原始数据做清洗、异常拦截；
3. 维护离线ETL数据同步任务，处理增量同步失败、点云数据缺失等故障，优化大表索引将查询耗时缩短45%；
4. 统一全公司数据指标口径，搭建数据资产台账，规范数据取用流程，降低月度数据故障频次，业务取数效率提升60%。