承接内蒙移动集中化大数据PaaS平台升级项目,负责DBI流程迁移及数据清洗架构设计,完成新旧平台割接。
点击空白处退出提示
承接内蒙移动集中化大数据PaaS平台升级项目,负责DBI流程迁移及数据清洗架构设计,完成新旧平台割接。
1. 将省平台接口机数据配置时间调度后使用外部程序脚本清洗再迁移至集中化平台HDFS数据库(DBI流程);
2.在PAAS平台建表后再配置时间调度后使用SQL脚本清洗数据后迁移至集中化平台HIVE数据库(DACP流程);
3.监控并检测数据是否按配置流程结果在HIVE数据库更新。
圆满完成二期193个流程迁移(DBI 158个、DACP 35个),数据校验通过率达100%,按期交付验收。




评论