通过flume和sqoop数据采集工具,采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构
建外部分区表,建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据,dwd层对数据进行一些预处理,dws层保存一些中间
层数据用于 app层数据调用。在数据仓库上完成相关指标统计,例如新增用户统计,用户流失统计,操作系统活跃性,商品指标信息
的相关指标。
点击空白处退出提示
通过flume和sqoop数据采集工具,采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构
建外部分区表,建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据,dwd层对数据进行一些预处理,dws层保存一些中间
层数据用于 app层数据调用。在数据仓库上完成相关指标统计,例如新增用户统计,用户流失统计,操作系统活跃性,商品指标信息
的相关指标。
评论