该项目为简单的数据爬取,主要分为Spider模块,Item和PIpeline模块,以及爬虫中间件其中Spider模块主要是用来向目标网址返回的数据进行处理,item模块进行筛选,Pipeline模块将数据持久化用的技术栈为Scrapy框架+Xpath+re+MySQL。
评论