技术栈:Python + Pandas + Scrapy + Redis + MongoDB + MySql + Xpath + Lua
1. 独立完成整个项目的数据爬取, 该项目数据爬取均符合robot协议,并限制爬取速率;
2. 小说简介章节数据爬取(仅自用非商用或盈利);
3. 网络安全漏洞数据资料爬取收集,并生成MD文档保存(仅自用非商用或盈利);
4. 该项目使用lua脚本进行登录认证获取cookie和token, 进行自动翻页爬取;
5. 实现将md文档里的图片url下载至本地,同时替换成本地图片地址;
6. 使用Pandas对爬取数据进行清洗,并入库;
7. 进行防呆处理,对已爬取的数据不会再次重复爬取下载。