演示地址https://github.com/sunhanwu/cdn_detector
通过分布式爬虫爬取Alexa top前100万条域名数据,存储在neo4j图数据库中,供用户随时查询任意域名是否使用cdn域名进行加速。如果用户查询域名不在数据库中,则调用分布式爬虫重新爬取。
评论
评论