此分布式爬虫系统基于RabbitMQ，通过 RabbitMQ 的 Topic 类型交换器，能够同时爬取相同类型的网站或不同类型的网站，实现主题爬虫。并通过 RabbitMQ 将分布式爬虫的运行日志汇集到一台机器上。利用具有更低误判率的多维布隆过滤器进行 URL 的去重。并在内存消耗和去重效率上对集合去重方式、一维布隆过滤器和二维布隆过滤器分别经测试，验证其优劣势和合理的应用场景。查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论