Python 网页爬虫

基于python+selenium+beautifulsoup的网页爬虫，实现完全模拟人工操作的，所见即所得的网页数据爬取。能够正确处理弹窗，对话框多标签页面等，实现了基于图像分析的高效的自动滑块校验。
自主开发的基础框架基于元数据获取、数据清洗、数据加工和报告生成的模型，已经实现单个网站几十万条网页数据的爬取，以及多达数千个关联网站的信息获取、归纳和汇总。目前框架已经日趋成熟，可以在较短时间完成新的数据爬取需求。