雅诗兰黛CRM-BI

：对雅诗兰黛各大市场大区的用户数据采集并汇总计算。
使用环境：Scala Spark
项目结构：
数据采集部分：对用户数据采集的部分采用的是以Java为主的微服务生态，数据的采集是局方kafka推送，对采集的数据进行清洗，然后根据清洗后的数据对数仓动态建模，不同的数仓对应各种不同的采集服务，各种不同的采集服务对应不同的监控服务。日志运维监控采用的是ELK。整个服务的组成内容就是数据采集与监控
数据计算部分：采用spark + hadoop（yarn）+Hive,开发主要以scala为主的语言生态，调用sparkSql + api 完成各种数据逻辑的汇总 ，最终离线在AKS(Azure K8s Server)上集群计算。。