etl工程

1.公司大数据平台用户模块及商品模块的维护及主题展示。
2. 内部交流网站荣誉之窗模块数据的清洗，分层储存。
3.shell 脚本的编写完成用户和商品模块每日数据的装载
4. 使用 flume从 kafka 中消费数据，按照维度进行 ODS，DW 层的数据建模。
5.使用 datax 完成 ADS 层数据到业务数据库的数据迁移。
6. 协助参与 finebi/report 可视化报表的建设展示。