ETL数据转换信息管理

我要开发同款
微信用户17214102902024年06月13日
126阅读

作品详情

项目描述:ETL 数据转换信息管理项目是一个半自动化处理数据的项目,也是一个基础的多任务调度平台,通过调度任务,执行任务处理数据。 包括2大部分,如下:调度部分,是一个纯 Java 的多进程、多线程的任务调度功能,主要职责是分发任务、执行任务、管理和监控任务等。 任务处理部分,是调度任务的基本功能单位,由多个特有的业务逻辑处理包组成。分别为 ftp 文件下载、数据文件装载、Mapping 数据映射、指标计算、数据表分区等。 调度任务可以串行执行,也可以并发执行。任务的类型也支持 shell 脚本和 jar包。 支持多数据库处理,支持的数据库有 Mysql、Oracle、DB2。 支持分布式部署,因为处理大量数据时,很耗资源,可以将调度功能部署到多台机器上,将任务分发到多台机器上执行。个人职责:功能开发,维护,部署,支持。个人独立维护整个系统
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论