项目内容:爬取中大网校上的任一科目下的所有题库
技术栈:python; scrapy框架;xpath解析等
难点:登录(cookie获取困难);scrapy框架;项目细分目录众多,请求的url众多且复杂,数据的分类、解析及存储困难;md文件中的图片处理
点击空白处退出提示
项目内容:爬取中大网校上的任一科目下的所有题库
技术栈:python; scrapy框架;xpath解析等
难点:登录(cookie获取困难);scrapy框架;项目细分目录众多,请求的url众多且复杂,数据的分类、解析及存储困难;md文件中的图片处理







评论