ETL工具框架

数据库存储过程通用日志记录功能，可实现存储过程执行中每一步时间，影响条数，程序异常详细信息记录; 数据库sql脚本批量执行功能，支持oracle、gaussdb、tdsql，只需要传入sql文件名称路径，即可批量执行sql并记录日志，以及获取报错信息，输出结果排版精美，即插即用，只需简单修改配置信息即可使用

适用领域： 1、面向低代码系统或定制系统间的数据同步、备份等功能； 2、适合需要通过OpenAPI接口进行各类数据操作的场景。 主要功能： 本程序是金蝶云星空表单数据同步到氚云对应表单的实际项目代码，通过双方提供的OpenAPI实现，具体功能包括： 1、实现金蝶云的登记注册、授权处理、token处理等； 2、实现氚云应用的登记、授权处理； 3、通过程序实现数据的自动获取、解析和同步推送处理； 4、实现定时任务及调度策略处理。 使用情况： 1、目前已上线运行两年多，系统稳定可靠。 技术支持： 1、可以有偿提供金蝶云星空、氚云系统在OpenAPI开发过程中的避坑答疑； 2、联系方式：15927223681，老李。

1、方案面向数据开发人员，解决了海量数据分析统计，解决关系型数据库针对海量数据分析慢的问题 2、Kappa架构的大数据方案，实现流批一体；Lambda架构的大数据方案，离线和实时分离的数据仓库方案。 3、技术选型： （1）数据源‌ → ‌Kafka‌ → ‌Flink实时计算‌ → ‌Clickhouse → ‌API/BI展示 （2）数据源‌ → ‌Datax → ‌Hive/Spark SQL → ‌关系型数据库 → ‌API/BI展示

昊合数据整合平台（HAOHE DI）是一款轻量级数据整合类工具软件，具有开发容易、部署简单、运维轻松的特点，产品采用先抽取加载到目标数据库后再进行清洗转换的 ELT 方式，充分利用数据库服务器自身的性能优势，通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎，开发人员只需要掌握基本的 SQL 语言就可以准确、高效的实现企业内数据整合的开发工作，同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能，为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。

基于开源框架实现数据中台，包括etl工具，数据服务平台，实现从数据治理到统一数据服务的全流程管理。 本人负责其中的项目架构以及功能开发。

资产证券化综合信息服务平台定位于提供 ABS 业务相关信息、数据、模型、研究等一揽子解决方案的综合服务平台。是集数据展示与下载、多角度统计分析、专业分析观点展示于一体的综合性服务平台。致力于建成国内最具广度、深度和专业性的 ABS 平台类产品。

该平台是一个实现对原始数据库数据进行静态脱敏的产品； 主要包括资产管理模块，策略管理模块，数据脱敏模块，数据同步模块 数据脱敏引擎等。 我是该产品的研发项目经理， 负责产品的需求对接、分析， 研发任务的拆分、分配， 代码review， 产品包制作等。 (因产品数据保密原因，下方截图不含数据)

该平台主要能力是进行数据库流量监测， 同时自带丰富的漏洞特征库和风险分析规则库， 对数据库相关流量进行审计记录与风险分析； 具备资产管理模块，审计中心模块，事件中心模块，配置中心模块等。 我是该项目的项目经理， 负责产品需求对接、分析； 研发任务拆分、分配； 代码review； 风险引擎开发、维护； 产品包制作、运维等。

项目已竣工，山西省各级煤管局、五大集团、煤矿在使用中。该系统是基于矿山生产运营系统、安全管控系统和综合保障系统之上的综合管理指挥系统，其承载了矿山生产中“两个中心”的任务，即“运营管理中心”和“生产调度指挥中心”。以生产任务正常执行为核心，实现人机环视全方位可视化监测，各环节工序有序接替，异常事件和报警的高效科学处置。通过智能化调度指挥最终实现企业生产经营综合统筹、协调均衡、经效精益的目标。

数据源source 对接 多源，多格式元数据适配 数据通道 数据转化 数据校验 数据sink 对接 sink 对接 数据安全校验，幂等

项目分为三个模块： 1.爬虫模块：利用selenium webdriver来模拟人工访问浏览器实现自动获取网页信息 2. 数据清洗模块：利用Spark来进行数据清洗 3. 可视化模块：用Vue+springBoot框架来进行搭建，运用了Echarts组件来实现可视化图表

1.政企合作的数据开发项目 2.主要针对山东省各医院线上问诊的数据进行统计分析 2.我负责数据的清洗,etl,数仓搭建,数据各项指标分析,可视化报表的制作

数据库管理系统（DBMS）包括以下主要功能： 数据库创建与定义：允许用户创建新数据库、定义数据结构（例如表、视图和索引），并指定数据的完整性约束和安全权限。 数据库查询与处理：提供对数据库中存储的数据进行查询、插入、更新和删除的功能。用户可以使用结构化查询语言（SQL）或者其他查询语言来执行操作。 数据安全性管理：对数据库中的数据进行安全管理，包括权限控制、数据加密、身份验证、访问审计等功能。 数据完整性管理：确保数据库中的数据符合预先定义的规则和约束，例如唯一性约束，外键约束等。 数据备份与恢复：提供数据备份和恢复功能，以保证数据库数据的完整性和可靠性。 数据性能优化：通过查询优化、索引、视图、存储过程等功能，提高数据库的性能和响应速度。 数据库复制与同步：允许数据在不同的数据库之间进行复制和同步，以满足数据共享和多地部署的需求。 数据库扩展与分布式处理：支持数据库的水平和垂直扩展，从而满足大规模数据处理和分布式计算的需求。 数据库监控和管理：提供数据库操作系统，用于监控数据库的运行状态、资源利用率和故障排查等功能。 数据库连接与应用集成：允许应用程序通过应用程序接口（API）与数据库进行连接和集成。

集成平台系统将不同类型、不同来源的数据通过统一的webservice接口 , 根据服务编码进行不同的业务逻辑处理 , 通过视图 , 存储过程 , MQ的方式实现数据消息的发送和接收 主要应用springmvc,springboot框架,RocketMQ消息中间件,数据库Oracle,MySql以及Redis, MongDB等NoSQL数据库 熟悉Linux平台操作

主要是针对云南移动经分软件优化及数据中台基础数据支撑优化，根据客户方提出需求，进行需求分析，口径确认等进行模型建设开发，包括报表的开发及优化，新增标签及优化等进一步开发或者优化程序，编写上线文档，其中主要用到国产 gabse 数据库以及 hive 进行开发，tcl 脚本优化

1.项目为工具类应用，主要是将文本(csv)数据预先进行清洗(去重、异常数据处理)，再将数据插入到数据库中，在插入过程中也包括了一些异常情况的处理，增加工具的容错率。该程序使用了手写的cache组件，性能与内存占用优于原生Map组件并且数据处理速度可达500万/秒以上（基于20亿数据集的测试）。 2.该项目独立负责开发与维护，项目中运用了大文件高效的去重、文件并发处理等技术，核心逻辑无第三方框架，纯手工编写

编写shell脚本，编写数据库存储 进行需求接口分析，完成数据的架构设计工作和ETL开发工作； 负责数据代码开发和shell脚本编写，测试； 负责系统上线，数据迁移，进行相应的测试，保证系统的稳定运行

1.系统分为SQL血缘解析，后端接口，前端展示 2.我负责SQL血缘解析开发，以及架构设计 3.项目难点：SQL为整个数仓的sql，包含了1000多个表直接的字段关系，解析会变得特别难。

本项目是基于SuperMap GIS基础软件，融合云计算、物联网、大数据GIS等前沿技术，构建了佳木斯城市管理“一张图”平台（以下简称“平台”）。该平台致力于解决佳木斯城市全域各类时空信息资源的高效汇聚、快速交换、安全共享等问题。

1.项目用于部门内部数据的处理，提供运营报表、财务报表，从原来一个数据报表需要开发5个工作日，缩短为1到3个工作日。 2.我负责：使用elk生态技术，为各业务线的研发同事提供日志数据，为各业务线的相关同事提供营收数据。 3.elasticsearch在当时是比较新的技术，学习成本高。