ETL工具框架

Palo ETL Server 是一个 Java 的工具用来对数据进行抽取、转换和加载到 Palo OLAP Server 中，该项目已经整合到 Palo BI Suite 中，并且不再更新。

KETL 是首屈一指的，开源的ETL工具。数据集成平台是建立与便携式，基于Java的体系结构和开放的，基于XML的配置和工作语言。 KETL™功能可以成功地与主要商业产品竞争今日。

【背景】 公司现有的系统有很多，需要打通数据孤岛 【模块】 系统模块有:HCM,WTS,EDI,SAP,C3,ABI模块 【职责】 1. 跟业务部门人员沟通需求 2. 搭建系统架构，目前我使用的是SSM架构

1.系统分为SQL血缘解析，后端接口，前端展示 2.我负责SQL血缘解析开发，以及架构设计 3.项目难点：SQL为整个数仓的sql，包含了1000多个表直接的字段关系，解析会变得特别难。

数据中台的本质就是“数据仓库+数据服务中间件”，面对的是底层的数据库和上层的不同系统。 中台构建这种服务时是考虑到可复用性的，每个服务就像一块积木，可以随意组合，非常灵活，有些个性化的需求在前台解决，这样就避免了重复建设，既省时、省力，又省钱。

Scriptella 是一个开源的 ETL （抽取-转换-加载）工具和一个脚本执行工具，采用 Java 开发。 任务配置示例 <!DOCTYPE etl SYSTEM "http://scr...

本项目是基于SuperMap GIS基础软件，融合云计算、物联网、大数据GIS等前沿技术，构建了佳木斯城市管理“一张图”平台（以下简称“平台”）。该平台致力于解决佳木斯城市全域各类时空信息资源的高效汇聚、快速交换、安全共享等问题。

1、负责用户权益系统的大数据数据库设计、开发、维护，为系统提供数据支持 2、负责从各种渠道收集用户数据并将这些数据进行清洗、整合 数据可视化与报表生成：将数据分析结果通过数据可视化工具进行展示，生成各类报表和图表

系统功能是：为政务数据共享交换建立支撑和通道 我实现的1、实现数据使用情况的展示 2、用户操作记录 3、实现数据交互 4、用户、角色权限管理 5、安全漏洞修复

将数据从一体化系统抽取到doris数据库，然后在抽取过程中对数据进行简单的清洗、转化，最后将数据完整入到ods层。 etl流程控制、数据校验、数据指标、根据业务需求给出相应的解决办法，从而到最后的数据可视化

1、解析任意字符串数据、文本数据、文件内容数据等。 2、基于正则表达式的二次框架性封装，实现任意格式数据的拆解、提取、清洗和入库数据。 3、配置简单，多数格式的数据基于本平台框架只需配置3--5个正则表达式接口实现所有数据的提取和入库操作。

1、支持任意数据库间的数据采集、同步，真正企业级应用多年的通用数据库采集器。 2、配置简单，只需一条SQL即可实现新增、修改采集表配置，自动创建目标表、自动检查表结构变化，自动实现数据入库。 3、具有全面的数据完整性检查、智能重采、采集进度管理、日志管理等功能。 4、内部性能优化，能高效完成数据采集。

待办事项、抄送传阅、办理历史、发起申请、申请历史、我的草稿 组织管理：组织管理、用户管理、角色管理 流程管理： 表单表单设计、流程设计、流程实例管理、任务管理 系统管理：字典分类管理、异常日志、系统资源、系统属性、常用脚本、短信邮件通知

Enhydra Octopus 是一个基于 Java 开发的数据ETL（抽取、转换和加载）工具，可以连接到兼容JDBC的数据库并根据XML定义文件对数据进行抽取和处理。 结构图如下：

1.统筹产品技术架构搭建、接口设计及核心功能代码编写。 2.组织产品技术攻关及研发，并指导及推动开发人员进行产品的开发。 3.商城主要功能模块业务功能 4.主要研发产品有移动端、PC端、数据仓

系统功能是：为政务数据共享交换建立支撑和通道 我实现的1、实现数据使用情况的展示 2、用户操作记录 3、实现数据交互 4、用户、角色权限管理 5、安全漏洞修复

Apatar是一个开源的数据抽取、转换、 装载（ETL）项目。模块化的架构。提供可视化的Job设计器与映射工具，支持所有主流数据源，提供灵活的基于 GUI、服务器和嵌入式的部署选项。

Talend (踏蓝) 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。 Talend以它的技术和商业双重模式为ETL服务...