软件架构:springcloud+mybatis+redis+hadoop+kettle+mysql+elasticsearch+hugegraph
开发环境:idea+maven+git+jdk
项目描述:
该项目是与朋友一起在空闲时间做的一个产业类新闻推荐项目,项目主要聚焦于水泥及水泥的各种原材料相关产业的新闻网站,产业类新闻网站目前比较少,主要是想弥补这方面的不足;新闻文章分数据来源有两类:平台用户发表、爬虫采集产业新闻;新闻的推荐主要是收集用户行为,然后划分权重比例计算之后进行推送。
责任描述:
1.负责文章检索服务。
2.负责机房数据同步。
3.负责大数据平台建设、维护、数据处理。
4.负责上线后系统维护、功能扩展。
开发步骤:
1.sringboot集成elasticsearch,并提供文章检索接口。
2.大数据系统建设;使用hdp搭建hadoop大数据系统,集成hue组件;基于hive创建数据模型,使用kettle设计数据抽取任务,完成对文章、用户行为数据定时抽取到hive的数据流程。
3.机房数据同步分为往线上推、从线上拉;线上机房在北京、线下机房成都;线下