本项目主要是通过收集用户的行为数据，根据用户的登录，搜索，点击，阅读，收藏等行为分析用户的喜好，做出不同维度下的相关统计，针对不同用户群体，做到更加精准高效的漫画推荐，提高用户满意度，避免对用户产生垃圾消息，降低流失率, 另一方面针对App以及PC端的固定板块以及漫画分类模块的定向推荐，不仅可以增加项目的可使用性，增加用户的活跃量；而且可以帮助用户发现一些用户想要发现但是很难发现的内容，进而做到提高一些冷门内容的曝光率。同时抽象出用户的尽量完整的信息，做成用户画像。项目职责: 1. 参与相关数据采集以及主题设计和开发，参与数据仓库的搭建2. 负责高频浏览主题的建设,负责高频浏览主题的数据填充3. 用户画像模块：结合用户的基本信息，并从日志中抽取用户的各种行为信息，通过当天的数据和历史数据，抽象出一个用户的全貌，通过不断的对用户打标签，更加全面的了解用户，进而为推荐做数据支持4. 负责相关指标的实现,为用户专属推荐做数据支持,生成用户的追踪报表，分析用户满意度,统计浏览量前20的漫画种类，以及漫画在不同时间端点，用户访问总量等技术实现： 1. 首先通过JS埋点和JavaSDK采集用户的行为数据，并保存到Nginx日志服务器中2. 使用Flume监控日志目录，将多个数据源的汇总保存到HDFS中，使用sqoop同步 MYSQL中的业务数据到HDFS3. ETL过程，把原始数据进行处理，导入原始数据层,确定主题，并拉取各自主题 下的数据 4. 使用SparkCore，完成日志数据的清洗，将用户的信息进行提取，针对不同事 件进行分类，并将数据保存到HDFS中，方便后续使用。5. 编写hql语句进行分析,运用Azkaban作为调度工具。 6. 将处理结果使用Sqoop导出到MySql中，用于前端的展示7. 将用户画像数据保存到HBase中，方便查询和修改