软件架构:Nginx+Flume+Hdfs+Spark+Hive+Mysql+Sqoop+Azkaban+Hadoop 开发环境:IDEA+JDK1.8+Git+Maven+Scala
项目描述:
数据仓库是根据随着时间发生变化的数据集成到面向主题的平台,通过该平台可以提取出对企业管理层决策提供重要依据的数据,利于企业长远发展。本项目收集了用户基本信息、用户交易、订单等数据,经过数仓逐层分析根据需求分析得到不同的统计数据。主要分为日志采集、数仓搭建、离线统计、数据展示四大模块
工作描述:
1 参与公司大数据平台的搭建与配置。
2.负责用户日志收集
3.负责离线数据分析,统计符合业务需求的报表
平台的日常维护与优化。
点击空白处退出提示
评论