spider-web是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。
其中配置文件格式为：
<?xmlversio="1.0"ecodig="UTF-8"?><cotet><urltype="simple"><!--simple/complex--><url_head>https://www.oschia.et/tweets</url_head><url_start></url_start><url_ed></url_ed><url_suffix></url_suffix></url><aalysistype="list"><!--sigle/list--><elemame="title"><attrtype="key"um="1"><!--tag/class/key--><ame>lik</ame><!--$https://my.oschia.et/(.)*--><pro>https://my.oschia.et/(.)*/[0-9]*</pro></attr><attrtype="class"um="2"><!--tag/class/key--><ame>tweet</ame><pro>a</pro></attr><attrtype="class"um="3"><ame>txt</ame><pro>a</pro></attr><attrtype="tag"um="4"><ame>a</ame><pro>a</pro></attr></elem><elemame="cotet"><attrtype="key"um="1"><!--tag/class/key--><ame>lik</ame><!--$https://my.oschia.et/(.)*--><pro>https://my.oschia.et/(.)*/[0-9]*</pro></attr><attrtype="class"um="2"><!--tag/class/key--><ame>tweet</ame><pro>a</pro></attr><attrtype="class"um="3"><ame>txt</ame><pro>a</pro></attr></elem></aalysis><targettype="dowload"><!--dowload/text--></target></cotet>根据不同的页面进行设置，可以支持比较流行的页面爬取。
评论