在智能制造/工业4.0的浪潮下，制造业企业正面临着从传统生产模式向数字化、智能化转型的迫切需求。汽车设备制造厂拥有多条自动化生产线，产线中包含大量传感器、PLC（可编程逻辑控制器）和SCADA（监控与数据采集）系统，实时产生海量的生产数据（如设备状态、产量、质量参数、能耗等）。然而，企业面临以下痛点：
1. 数据孤岛问题：产线数据分散在各系统或本地日志中，无法实时汇总到中央数据库或云平台，导致管理层难以获取全局生产视图。
2. 人工成本高：依赖人工定时导出或录入数据，效率低且易出错。
3. 响应滞后：异常数据无法及时报警，导致生产线停机或质量问题扩大。
4. 系统集成复杂：现有系统协议各异（如OPC UA、Modbus、MQTT等），难以统一接入企业ERP或MES系统。
为解决上述问题，本项目开发了「产线数据自动化采集与上传工具」，实现产线数据的实时抓取、解析、清洗和标准化上传，助力企业构建透明化、可追溯的智能生产体系。
1. 核心功能
- 多源数据采集：
支持从多种数据源实时抓取产线数据，包括但不限于：
- 数据库（如MySQL、SQLite）实时查询
- 工业协议接口（如OPC UA、Modbus TCP）
- 本地日志文件（如CSV、TXT、JSON）
- 实时消息队列（如Kafka、RabbitMQ）
- 数据解析与清洗：
- 自动识别不同格式的数据源，解析为统一的数据结构（如JSON）。
- 支持数据过滤、去重、格式转换（如时间戳标准化、单位换算）。
- 定时/实时上传：
- 支持定时触发（按分钟、小时、天配置）或实时触发（数据变化即上传）两种模式。
- 将数据上传至指定目标系统，如：
- 云平台（如阿里云IoT、AWS IoT）
- 企业私有数据库（MySQL、InfluxDB）
- 大数据平台（Kafka、HDFS）
- API接口（如RESTful API）
- 可视化配置界面：
提供轻量级图形界面（基于PyQt/Electron开发），用户可通过简单配置实现：
- 数据源连接参数设置（IP、端口、协议、认证信息）
- 上传目标配置（URL、API Key、数据格式）
- 调度策略选择（定时/实时）
-异常处理与监控：
- 数据抓取失败、网络中断、上传超时等异常时，自动重试并记录日志。
- 支持邮件/短信报警（需配置）。
- 提供运行状态仪表盘（如数据采集量、成功率、延迟统计）。
2. 工具特性
跨平台兼容：打包为单文件EXE，支持Windows、Linux（通过PyInstaller）。
低资源占用
我独立负责整个项目的开发，需求编写，后期测试，上线部署
- 开发语言：Python 3.8+
- 主要库：
- 数据采集：`pyodbc`（数据库）、`python-opcua`（OPC UA）、`pymodbus`（Modbus）、`watchdog`（文件监控）
- 数据解析：`pandas`、`json`
- 网络上传：`requests`、`kafka-python`
- 界面开发：`PyQt5`（轻量级配置界面）
- 打包工具：`PyInstaller`（生成EXE）
- 其他工具：`Git`（版本控制）、`Docker`（可选，用于环境隔离）
评论