智能电表用电数据离线统计与能耗分析系统

技术信息

语言技术
Java系统类型
Web行业分类
智能硬件

作品详情

行业场景

某市政供电管理部门，辖区内部署了大量智能电表（居民表、商业表、公共表）。
电表通过采集器按 15 分钟 / 1 小时上报用电量、电压、电流、功率等数据。
管理部门需要每日对历史用电数据做离线统计：分区域用电量、峰谷平用电分析、
异常用电识别、欠费预警支撑、能耗报表输出，供运营后台和 BI 系统使用。

功能介绍

1. 电表数据采集：每日从采集平台 / MySQL / Kafka 归档库同步电表原始读数至 Hive ODS 层
2. 数据清洗标准化：处理重复上报、时钟回拨、缺失补录、异常跳变（冒大数）等问题
3. DWD 明细层：电表读数明细表，含表号、用户、区域、倍率、电压电流、累计电量
4. 用电量计算：基于表底数差值计算 interval 用电量，结合倍率换算真实用电量
5. DWS 汇总层：按小时/天/月汇总用户、楼栋、片区、表计类型的用电量
6. 峰谷平分析：按分时电价时段（尖/峰/平/谷）统计各时段用电占比
7. 异常用电识别：疑似窃电（夜间异常高负荷）、表计故障（长期零读数）、突增突降
8. ADS 应用层：用电日报、片区能耗排名、Top 用电用户、欠费风险用户清单
9. 任务调度：Airflow / DolphinScheduler 每日凌晨跑批，失败重试与告警
10. 数据质量校验：表计在线率、数据完整率、主键唯一性每日自动检查

项目实现

本项目为独立开发的 Spark 离线电表数据分析任务，我负责数仓建模与核心 ETL 实现：

1. 设计电表数据分层模型（ODS → DWD → DWS → ADS），统一用电量、倍率、峰谷时段口径
2. 使用 Spark SQL 开发 dwd_meter_reading_detail 电表读数明细清洗任务
3. 实现表底数差值用电量计算逻辑，处理换表、复位、倍率变更等边界场景
4. 开发 dws_meter_user_electric_1d 用户日用电汇总、dws_area_electric_1d 片区日汇总
5. 按分时电价规则实现峰/谷/平电量拆分统计，输出 ads_peak_valley_analysis 报表
6. 开发异常用电识别规则：连续零读数、夜间负荷异常、单日用电量突增超阈值
7. 产出 ads_electric_daily_report 用电日报、ads_arrears_risk_user 欠费风险用户清单
8. 使用分区表 + 动态分区写入优化每日增量刷数，核心任务从 50min 优化到 18min
9. Airflow 编排任务依赖链，配置数据质量 SQL 校验与企微/钉钉失败告警