爬取ip代理

项目描述：Xml，redis，requests爬取代理ip，自己建造免费ip代理池（个人项目）
项目功能：添加代理ip，定时判断已添加的代理是否能够使用，在其他项目中能够调用此api获取代理ip。
项目职责： 1.使用requests爬取各个代理网站的免费ip。然后对于爬取数据的有效性，进行简单的测试。然后放入redis中而对于爬取的数据。由于不能出现重复的代理ip，其次，爬取的数据量较小，我使用redis数据库进行保存。对于重复的代理ip，使用redis中的set来进行去重。
2.对于存入redis中的代理ip，同时写了一个测试函数，主要对其中的代理ip进行数据定期的有效性的测试。以访问百度为测试为例，对于访问百度不通，代理无效的，从redis中删除数据
3.对于给外部调用此爬虫结果，我给此爬虫了一个接口return。用random的方式随机从爬取的数据中获取代理ip