介绍：污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。1.【项目模块】：1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产3）数据分析模块：对整理的数据进行分析，展示2.【我的职责】：1）负责整个数据存储，数据分析平台的搭建2）动态活动水平库技术架构3）数据接入、数据清洗的负责人3.痛点难点：1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模块，适配了当时情况下的大部分数据的接入3.数据量大：空气站、水站这种数据量大，数据实时性高的数据，传统的数据库根本承载不了，对此，在我的带领下，构建了一台基于大数据模型的数据存储机制及数据清洗分析机制，使得数据能够准确存储切能实时查询分析。