数据开发处理

1.项目为数据处理中间层
2.本人负责airflow流程规划设计，python api与sparksql的功能编写，用groovy编写pipeline去实现自动化部署k8s的等功能。
3.项目难点在于airflow的整体设计，如何一层一层依据业务部署；使用redis去解决python代码中的一些并发场景，充当锁的功能。