项目介绍自己封装的简单的爬虫框架，使用方式和scrapy框架的使用方式大致相同技术栈httpx:一个支持异步和HTTP1.0和HTTP2.0的异步请求库，主要用来发送网络请求lxml:解析xml和html文本的第三方库asyncio: python内置库，使用async/await语法实现协程运行项目python crawl --crawl main这条命令会在项目根目录下寻找main.py文件，并且在其中搜索Spider的类的子类，利用Spider类start_request方法 发起异步请求，并且调用指定的callback回调函数(默认是parse方法)实现内容的解析，如果需要指定自己的回调函数，需要 手动构造Request对象并且指定callback参数查看全文
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论