某在线交易平台离线数仓

基于AWS EMR平台，使用hadoop、hive、spark等大数据组件，对该在线交易平台的用户行为日志数据及商品、订单、评价等交易数据进行数据抽取、处理、维度建模建立离线数仓，以支持其业务分析、商品推荐、营销策略等数据分析、挖掘需求。
- 参与建设和调整MySql数据采集至数仓流程（datax&MaxWell&kafka）,进行数据抽取、清洗、转换和加载。
- 交流、理解业务逻辑，参与部分数仓的维度模型设计。
- 根据项目需求，确定取数逻辑和执行计划，编写Hvie SQL及调度脚本，测试执行及反馈优化。