分布式数据同步中间件

1、项目简介：
项目为应对多业务系统之间数据同步而开发的中间件，包括集群管理、配置管理、同步任务管理等模块
2、技术栈：
我负责了的同步任务管理的开发，使用了xxl-job、zookepper、nocos等技术
3、难点：
难点描述：大数据量的同步任务
解决方案：采用分批处理的方式进行数据同步，将大数据量的同步任务分成多个小批次进行处理。可以设置合理的批次大小和并发度，以平衡同步任务的处理速度和系统资源的消耗。