大平台重点采集系统

该系统是用于采集客户重点关注的用户在微博，头条，微信公众号，抖音，快手，脸书，推特等平台的发文内容，保证客户能够及时且全面的拿到自己重点关注的用户的发文内容，并对其行为和立场进行用户分析，用户画像，制作用户行为分析报告给客户。项目主要包括用户模块，调度模块，采集模块，解析模块。
技术框架：Springboot+zookeeper+kafka+redis+elastic-job+mongodb+flink+hadoop
我主要负责：
1.负责所有平台的重点用户账号准时调度，保证kafka队列中的任务至少一次消费。
2.负责flink on yarn集群的搭建，用flink实时计算各个平台的热门话题和活跃用户。
3.使用令牌桶算法实现对资源账号的限流。
4.采用elk分布式日志收集框架来处理海量日志。
5.参与整个项目技术框架的选型和接口的设计。