该项目为简单的数据爬取,主要分为Spider模块,Item和PIpeline模块,以及爬虫中间件
其中Spider模块主要是用来向目标网址返回的数据进行处理,item模块进行筛选,Pipeline模块将数据持久化
用的技术栈为Scrapy框架+Xpath+re+MySQL。
点击空白处退出提示
该项目为简单的数据爬取,主要分为Spider模块,Item和PIpeline模块,以及爬虫中间件
其中Spider模块主要是用来向目标网址返回的数据进行处理,item模块进行筛选,Pipeline模块将数据持久化
用的技术栈为Scrapy框架+Xpath+re+MySQL。




评论