网络爬虫

Arachnid 是一个基于 Java 的 Web spider 框架。它包括一个简单的HTML解析器对象，可以解析包含HTML内容的输入流。简单的网络蜘蛛可以通过对Arachnid进行子类化并...

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS，支持真机和模拟器。最大的特点是灵活性，可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

VW-Crawler 背景 自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的...

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和u...

爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” ：https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解...

项目代号：土拨鼠 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫...

北京地铁客流量统计（py爬虫+js统计图) 很好奇北京地铁每天的客流量变化，于是写了个爬虫。结果很有意思，每周7天的客流变化都很规律。 结果： https://www.ikaze.cn/sub_...

WebCrawler 是一个网站数据采集工具，使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...

________ _________________ ___ __ \___________ /_____ /____________ __ / / / __ \ __...

NZBGet是一个新闻采集器，其中从新闻组下载的资料格式为nzb文件。它可用于单机和服务器/客户端模式。在独立模式中通过nzb文件作为参数的命令行来下载文件。服务器和客户端都只有一个可执行文件”...

WebCollector-Python WebCollector-Python 是一个无须配置、便于二次开发的 Python 爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功...

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架，采用了 scrapy 的设计模式，参考了 github 上一些开源框架的处理逻辑。 更多详细内容可参考d...

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。 示例代码： import java.util.ArrayList; im...

一个轻量级的基于事件分发的爬虫框架。 功能介绍 基于完全自定义事件处理机制的爬虫框架。 模块化的设计，提供强大的可扩展性。 基于HttpClient支持同步和异步数据抓取。 支持多线程。 基于J...

AntNest 简明飞快的异步爬虫框架（python3.6+），只有600行左右的代码 功能 开箱即用的HTTP客户端 提供Item extractor, 可以明确地声明如何从response解...

Combine 是一个用Perl语言开发的开放的可扩展的互联网资源爬虫程序。

Colly 是一个采用 Go 语言编写的 Web 爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly ，你可以轻松从网站中提取结构化的数据，然后进行数据挖掘、处理或归...