离线数据采集:支持离线采集MySQL、ORACLE、DB2、SQL Server、瀚高、TiDB、Doris、ClickHouse、PostgreSQL等关系型数据库，http、Kafka、Excel、InfluxDB、Redis、MongoDB、SQL、FTP、Elasticsearch、HBase、Hive等组件的数据到ods层或其他数仓数据源。实时数据采集：支持Flink实时采集MySQL-binlog、PostgreSQL-WAL、PolarDB- binlog，Oracle,kafka,ActiveMqd等组件的数据。数据治理:从数据的规范性、一致性、准确性、完整性、唯一性等角度进行数据处理，形成标准统一的数据资产治理组件如下：1.规范性校验-对各个字段的值域、长度、最大值、最小值进行限制2.顺序校验-对字段值进行排序3.数据量统计-对字段值进行预警统计4.级联校验-对多个字段值进行联合校验，如省市区三个字段值校验5.空值替换-对字段空值进行处理6.日期格式转换-对日期字段进行格式转换7.身份证标准化-对身份证进行标准化处理8.电话号码标准化-对电话号码进行标准化处理9.正则提取-是用正则处理字段值10.字符串转换-对字符串进行处理11.特殊字符清洗-对空换行等特殊字符处理12.自定义映射-对字典值进行映射，如0-男，1-女13.列增加-新增列14.数据去重-去除重复数据15.groovy脚本-支持脚本对字段值进行处理16.加密、解密、脱敏-安全组件17.过滤-对字段值进行过滤数据资产：展示数据表名称、所属数据源、资产名称、敏感数、数据量等内容，同时提供数据表统计详情、元数据变更详情、元数据管理、血缘分析以及差异分析操作功能数据共享：数据共享模块可将数据资产中的数据发布为数据服务，开放给其他业务系统使用。物联感知平台：物联网平台实现针对城市内物联感知设备的管理。实现各类设备的基本管理、数据接入、告警处理，实时动态等全要素整合共享，实现对城市内智慧设备的管理，并配合智慧设备的调度管理和告警通知，使设备的实时变化更易感知。数据地图：大屏展示数仓分层中的数据项目中使用的技术：springboot、Spring Cloud Alibaba、k8s、hive个人承担角色：数据采集：ActiveMq输入，ActiveMq输出,redis输出，http输入组件支持xml、市场项目问题修复数据治理:正则提取组件开发、规则库组件开发、groovy脚本组件优化、治理逻辑封装成治理模型并适配23种治理组件、市场项目问题修复数据探查：对前置库表字段进行值域分布、空值率、字段类型做探查，对dw层治理后的数据做质量校验，并输出治理报告一站式数据治理：基于DAG图完成数据采集、数据探查、数据治理、数据核验等操作政务类数仓层次设计：原始库、治理库、基础库、主题库、专题库、hive、mpp、mysql数据资产：资产目录、元数据管理数据共享：黑白名单，限流、共享灵活性数据标准：完成数据标准在数据治理中的落地数据云图：指标数值优化系统集成：大数据系统与上层服务做单点集成，oauth,cas