1、项目简介：金昌雪亮工程综治分平台数据交换共享平台系统旨在通过缓冲库对接省级综治平台数据，对接市级政法业务数据，最终建立市级综治大数据平台。通过一体化管理平台门户网站实现统一的数据资源管理。对经过标准化的全量综治数据资源，建设相应的大数据标准资源库；基于标准资源库，根据不同的分析应用模型来构建各类服务资源库。2、主要功能：a-ETL抽取市综治数据以及公检法司安等其它数据到缓冲库（DM8 DW 2节点集群）。b-ETL清洗转换缓冲库中的数据，形成标准的数据格式，推送到中心库（DM8 MPP 2节点集群）c-中心库以制定好的数据结构存储来自各个单位部门的海量数据，同时对外提供有条件共享服务。d-ETL定期推送综治业务数据（矛盾调节、实有人口、特殊人群、治安网格、重点青少年等）至省平台平安甘肃项目部。e-资源目录可供查看目前中心库中存在的所有可被共享的各类数据。f-政法云搜基于ES对中心库数据建立索引，可快速检索出用户感兴趣的人、事、地、情、物数据。g-大数据分析平台：ETL每日同步中心库数据到HDFS集群，由DolphinScheduler每日调度Hive计算任务，分析结果（出入境、重特大案件、特殊人群、矛盾纠纷、信访、警情等相关指标）保存到MySql中，最后由SuperSet进行可视化展现。3、所用技术：数据库管理系统DM8、数据推送工具DMETL、数据守护集群DMDW，大规模并行处理集群DMMPP、JAVA1.8、ES、Hadoop、Hive、DolphinScheduler、MySql、SuperSet。