该项目为Scrapy爬框架取裁判文书网案件数据反爬问题：由于文书网的反爬监控很严格（一级验证码，二级验证码，JavaScript反爬，IP检测...），所有采用阿布云动态隧道代理方案，每一次请求请求都是不同的IP，这样就不会触发反爬检测了〜?。还是挺好用的，基本上每个IP都可以用，主要也还方便，直接用它的代理服务器发出请求，不用像一般的代理IP那样还需要取出IP，再代入IP进行请求。代理相关配置在middlewares.py的类ProxyMiddleware中。爬取策略问题：现在的文书网总量已经高达5千多万份了，但是每个筛选条件下只能查看20页，每页10条。本项目以爬取1996 - 2000年的所有文书为例，大家有好的爬取方案，可以自行修改帕拉姆参数即可。速度问题：配置在setting.py中：DOWNLOAD_DELAY = 0（无延迟实现请求0延时）; CONCURRENT_REQUESTS_PER_SPIDER = 5（开启线程数为5）;因为我用的代理配置是默认的每秒5个请求数，所以在此设置线程数为5;如果想爬取更快，可以加大代理请求数（当然是要钱滴〜），最高可以加到100的请求数，我滴天呀，那得多快啊！我现在的速度大概每秒爬取4个案件，加到100的话，估计每秒80个，一分钟4800个，一小时288000，一天就是6912000，目前总量5千4百万，大概8〜 9天就能爬完，如果在加上Redis的分布式的话，哇，不敢想象！