项目简介:
项目是接收运营商实时换单数据落入数据仓库,从编写flink程序从kafka中读取数据写入hive及下游kafka,程序使用yarn cluster 部署,大约使用了4万多核。
个人职责:
负责flink程序监控的建设,使用pushgateway+prometheus+grafana实现可视化监控,包括业务量,程序内存、CPU、任务存活情况;负责协助排查flink错误问题
点击空白处退出提示
项目简介:
项目是接收运营商实时换单数据落入数据仓库,从编写flink程序从kafka中读取数据写入hive及下游kafka,程序使用yarn cluster 部署,大约使用了4万多核。
个人职责:
负责flink程序监控的建设,使用pushgateway+prometheus+grafana实现可视化监控,包括业务量,程序内存、CPU、任务存活情况;负责协助排查flink错误问题
评论