介绍:
污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合,数据分析、治理、监控的平台。打通西安市各区县间数据不完整,数据实时性差、各部分间数据流通不畅的问题,为西安市生态环保局提供可视化的数据分析,为环境治理工作开展提供重要的数据依据。
1.【项目模块】:
1)数据接入模块:http请求、tcp/udp接入,jdbc连接、excel导入等
2)数据处理模块:接入的数据入库后通过sql查询过滤方式等清晰,过滤,分组,聚合等形成数据集,数据自资产
3)数据分析模块:对整理的数据进行分析,展示
2.【我的职责】:
1)负责整个数据存储,数据分析平台的搭建
2)动态活动水平库技术架构
3)数据接入、数据清洗的负责人
3.痛点难点:
1.数据的多样化:目前西安市环保部分的数据多样化存储在各个部门的不同系统中,需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中,对此,我带领小组成员为期两个月的时间,主要调查,分析各部门间的数据录入情况,各部门的系统数据情况,数据的更新周周期情况,数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模