开发环境:IntelliJIdea+Git+Maven+Jdk1.8
运行环境:Linux+Java+Hadoop+Hbase+Hive+Redis
项目描述:采集,梳理,集中移动运营系统中记录的用户业务使用日志数据,对数据进行分
类处理,内容分析,挖掘出用户的行为轨迹,分析用户访问互联网内容的类型、
频率等行为习惯,
分析用户使用手机APP的行为特征等,
对移动客户进行用户画
像,为公司营销策划和各类业务模型报表统计做数据支持。
工作描述:
参与“预处理”、“用户行为轨迹增强和内容识别”、“内容分类树梳理平台”用
户移动轨迹分析”等模块架构设计、文档编写及编码实现。
“预处理”、“SCA内容分析”等模块在生产环境下的部署、割接、上线,运营监
控。
项目设计文档,项目说明文档等文档的编写。
技术要点:
将需要去重的数据结果写入Redis,通过LRU策略提高数据库可用性。
使用mapPartitions算子代替map算子减少和数据库的连接。
transform算子在Driver端周期性读Redis数据,通过广播变量发往Executor。