CMS资源管理系统

CMS管理内容资源，爬虫采集网页数据，并提供后台管理平台管理
1、负责网页抽取核心业务代码编写
2、负责资源发现、自动采集、数据清洗，特征化、图像处理核心业务代码编写和维护，实现系统自动调度。
3、使用布隆过滤器进行海量数据去重，使用队列实现异步消费消息，顺序消费消息，mysql，DCache和 oss 进行存储。
4、负责抽取数据监控业务，使用crontab执行定时任务，提供对外接口接收任务，定时更新数据和清理过期数据。