kettle任务开发和部署

异构数据库对接，包括ClickHouse，Greenplum，postgreSQL等新型数据库产品，传统架构游刃有余；
1，不直接要求数据库有写权限，强调不通过存储过程和函数实现的ETL交互作业能力（全面在Kettle或者代码实现）
2，内存优化和SQL优化，避免锁库锁表，避免造成业务系统阻塞；
2-1,确认使用no_lock，放弃强一致性要求；
2-2,慢SQL查询准备；
2-3，表镜像，内存重构建业务；
2-4，动态判断，增量数据（not in）业务自动冗余；
3，全面构建日志，成功触发发送企业微信；失败触发重动作（需运维介入）；
4，任务超时管理；