项目背景
工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。
项目目标
1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长；
2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确；
3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。
项目概述
该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。
1、项目有设备状态采集、清洗、转换、告警等功能
2、主要功能是根据设备统计状态持续时间，使用甘特图的方式给到大屏进行展示，如果设备的状态持续异常出发业务设置的阈值则直接给对应的负责人发生企业微信消息，每8小时统计一次活跃/不活跃的设备给到相关负责人等。
作为核心技术负责人主导基于Kafka+Flink + Doris的工业实时数仓建设，构建高吞吐实时接入层，支撑8000万+/日的异构数据源稳定摄入，通过Flink状态管理与异步Sink机制，保障数据零丢失。
重构数据流ETL链路，将高频时序数据/IoT日志数据的处理时延从分钟级降至秒级，为生产监控提供实时数据底座。
• 数据资产化与效能提升
1. 基于多维指标的实时监控与异常检测：通过统一定义设备“正常/告警/故障/停机”状态口径，实现设备综合效率的自动化核算，辅助工厂管理层识别产能黑洞，提升设备利用率约15%。
2. 预测性维护：封装核心指标API（DaaS），通过监测温度、压力、用电量的异常波动，实现故障预警，将事后维修转变为事前预防。
• 指标口径标准化：统一设备运行状态（正常、告警、故障、停机）的指标口径，通过时序分析进行多维度聚合，确保报表系统与可视化大屏的数据一致性。
• 数据资产化服务：封装核心设备指标数据接口，为上层业务系统提供标准化的数据服务（DaaS），支持业务侧的实时决策。
工作业绩：
赋能智能制造，破解生产黑盒：针对工厂“设备效率不透明、故障响应慢”的核心痛点，主导建设实时生产数据平台。通过Kafka+Flink+Doris技术栈，将设备异常发现与定位时间从平均2小时缩短至30秒，助力生产部门实现预测性维护，预估年提升设备综合利用率(OEE) 15%。
驱动数据文化，构建服务生态：并非单纯搭建数仓，而是推动数据成为生产要素。通过构建统一数据服务API，赋能生产、设备、能耗等多部门开展自助式数据分析，取代传统手工报表，月度节省人工工时超过20人/日。
技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python
评论