国联人寿“方舟计划”用户画像系统

项目架构：MySQL+Sqoop+Flume+Zookeeper+Hive+Spark+Elasticsearch 6.8+Oozie
项目描述：本项目是基于国联人寿数仓平台构建的用户画像系统，为了实现平台利益的最大化，精准营销，提高用户投保率，项目主要依据用户信息、用户行为数据以及用户的保单信息等多方面的数据源提炼影响用户投保核心特征，使用Spark对用户打上标签，构建用户画像标签体系，打完标签后将数据存储在ES中，构建二级索引，实现对用户的精准营销和精细化运营。
职责描述：1.负责将数据导入至Hive，并进行ETL过滤脏数据
2.负责开发SparkSQL程序，完成规则类型标签，且通过自定义UDF函数和模板设计模式编写工具类
3.负责使用业务数据中相关字段进行统计分析，结合标签规则开发统计类型标签
4.参与基于KMeans算法，建立特征工程，训练出最佳模型，对该模型进行评估，从而完成RFM和RFE模型的开发，对用户进行预估分析，再配合MySQL中的属性标签给用户打上标签，存储到ES中
5.简化SparkSQL程序中读写画像标签数据操作