该系统是基于xxl-job二次开发的datax-web调度的再次开发。从开发至服务器部署以及运维均是独立操作
系统优化: 重构了现有的调度系统,从批处理模式转变到流处理模式,使系统可容纳更多业务
处理,增加了用户体验。
分布式执行: 设计和实现了分布式执行器,支持动态代码执行(Groovy),以及兼容 Python、
存储过程和 DataX 等多种任务类型。
路由策略: 独立设计路由策略,创建了可扩展的策略对象模型,简化了新增策略的复杂度,提
升了系统的灵活性。
中间件开发: 基于 NIO、IO 顺序读写、事件处理器、索引文件和零拷贝技术,从底层开发了高
性能队列中间件,增强了任务处理的性能。
数据管理: 构建了合理的数据架构,使得业务人员能够方便地进行数据回溯核查,确保数据的
准确性和可追踪性。