数据仓库管理系统

数据仓库管理系统
以数据仓库Hive为中心，我们每天有很多工作是将业务系统的业务数据落入到数据仓库中，比如mysql入仓到Hive,kafka入仓到Hive,postgres入仓到Hive等,这些都是供数据分析人员分析业务数据，给运营人员提供运行决策。还有很多的工作将Hive数仓的数据出仓到其他存储系统，比如Redis，mysql，ES等，这些都是已经分析好的数据，提供其他应用进行展现， 这样产品人员，运营人员，决策人员都可以看到这些数据。
这样问题来了，如何管理和维护这些入仓和出仓的任务呢，以及这些任务的之间的依赖呢，所以，一个数据仓库管理系统就此诞生。