数据仓库系统

该项目是基于Apache版本的大数据框架完成的一个电商类数仓系统，主要完成了用户行为数据和业务数据的采集平台搭建，业务仓库维度的建模，分析了电商核心主题指标，有商品信息、用户设备信息、地区信息、会员信息等。数仓的日志数据又Flume采集，通过Kafka消费数据到Hdfs，业务数据生成后使用Sqoop把数据同步到Hdfs中，采用即席查询工具Presto进行指标分析，使用睿象云+Python+Shell做异常数据第三方告警（邮件、电话），用Azkaban来做全流程调度，用Zabbix做集群的监控和告警等。