平台主要用户为数仓人员和特征风控人员,平台提供离线任务开发和实时任务开发功能,离线任务包括hive, mysql. spark, mysql2hive, hive2mysql 等离线任务。
实时任务包括kafka2es,kafka2hive 等。
离线任务底层调度系统是基于airflow 二次开发,实时任务底层是基于flink ,所有的spark 任务在k8s上运行。
点击空白处退出提示
平台主要用户为数仓人员和特征风控人员,平台提供离线任务开发和实时任务开发功能,离线任务包括hive, mysql. spark, mysql2hive, hive2mysql 等离线任务。
实时任务包括kafka2es,kafka2hive 等。
离线任务底层调度系统是基于airflow 二次开发,实时任务底层是基于flink ,所有的spark 任务在k8s上运行。
评论