项目架构:CM+ZooKeeper+HDFS+Yarn+Hive+Spark+Sqoop+Hue+Oozie+FinBI
项目描述:本项目是基于同程生活研发的大数据分析平台,公司业务覆盖华东、华中及华南等地区,日服务家庭超过几百万,月交易额数千万元人民币。为了避免疫情大爆发给公司带来巨大影响,突破运营瓶颈,增加公司营业额,提高用户量和订单量。因此对大量的业务数据进行综合分析,依据数据分析报表展示的结果,能使公司更加清晰地把握业务运营状况,通过更少的投入获取更大的收入比。
职责描述:1.参与项目的立项会议,参与编写项目的需求文档
2.制定离线数仓开发规范,设计表命名,字段命名,字段类型等规范
3.负责将存储在MySQL数据库中的业务系统数据导入HDFS上
4.负责实现每个分层的数据抽取、转换、加载
5.负责编写Shell实现Sqoop脚本批量导入数据,并实现Oozie任务流调度
6.负责使用SparkSQL进行数据应用层指标进行分析