该项目在容器化Airflow上封装,支持各种离线实时数据任务的标准化接入,以满足在不同集群上流程化的数据调度需求。相对于原有的Airflow调度项目,大大降低了开发、测试、部署和运维的难度。
项目职责
1.参与容器化Airflow和operator的开发,以及原有Airflow任务的迁移
2.负责实现任务血缘分析和Git版本管理
3.参与Hive和Sqoop任务标准化的开发
项目业绩
完成80% Airflow任务的迁移;标准Hive和Sqoop任务上线
解决了Git版本管理任务的问题。
点击空白处退出提示
评论