项目描述:ETL 数据转换信息管理项目是一个半自动化处理数据的项目,也是一个基础的多任务调度平台,通过调度任务
,执行任务处理数据。
包括2大部分,如下:
调度部分,是一个纯 Java 的多进程、多线程的任务调度功能,主要职责是分发任务、执行任务、管理和监控任务等。
任务处理部分,是调度任务的基本功能单位,由多个特有的业务逻辑处理包组成。分别为 ftp 文件下载、数据文件装载
、Mapping 数据映射、指标计算、数据表分区等。 调度任务可以串行执行,也可以并发执行。任务的类型也支持 she
ll 脚本和 jar包。 支持多数据库处理,支持的数据库有 Mysql、Oracle、DB2。 支持分布式部署,因为处理大量数据
时,很耗资源,可以将调度功能部署到多台机器上,将任务分发到多台机器上执行。
个人职责:功能开发,维护,部署,支持。个人独立维护整个系统
点击空白处退出提示
评论