项目分为数据源配置、订阅表配置、计划管理、数据同步等模块;实现同数据库类型之间的数据实时同步;
本人负责数据源配置、计划管理、数据同步模块的开发;
前端采用vue-element框架,后端使用ssh;中间件使用zookeeper、kafka;
数据同步原理:分析数据库日志或监听数据库监听器;
难点:数据同步断点定位、大字段(clob、blob)的同步;
解决办法:重复读取末尾文件并排除已同步数据,大字段sql按数据行拼接
点击空白处退出提示
项目分为数据源配置、订阅表配置、计划管理、数据同步等模块;实现同数据库类型之间的数据实时同步;
本人负责数据源配置、计划管理、数据同步模块的开发;
前端采用vue-element框架,后端使用ssh;中间件使用zookeeper、kafka;
数据同步原理:分析数据库日志或监听数据库监听器;
难点:数据同步断点定位、大字段(clob、blob)的同步;
解决办法:重复读取末尾文件并排除已同步数据,大字段sql按数据行拼接
评论