Oracle

Oracle→MySQL数据同步管道优化·主导开发·2018~2019企业原数据同步依赖人工导出/定时脚本，存在三个问题：增量数据靠全量重导、跑批失败无告警、报表侧经常对不上数。主导设计并落地自动化同步管道：增量机制：按业务表水位（FLastUpdateTime）增量抽取，支持分片回填与断点续跑，不

用kettle设计一套传输程序，100个采集系统传输到生产系统，数据清洗，转换，加载，数据对账。开发插入更新插件，更新目标表增加条件。比如生产系统要求数据采集及时上传，所以采集数据进入生产业务表。但是生产系统使用时也会更新该表数据，容易造成数据覆盖。kettle的插入和更新都是先查询，但是查询完成目