主要负责国内各短视频平台的短视频数据采集，包括KOL头部的个人公开信息，粉丝画像数据，评论数据等，用到的技术栈主要有kafka, redis, mongo, scrapy, 还有Jieba hanLP等nlp相关技术
评论