网络爬虫

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统

Bixo 是一个开放源码的Web挖掘工具包，基于 Hadoop 开发和运行。通过建立一个定制的级联管总成，您可以快速创建Web挖掘是专门为特定用例优化的应用程序。

Colly 是一个采用 Go 语言编写的 Web 爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly ，你可以轻松从网站中提取结构化的数据，然后进行数据挖掘、处理或归...

此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php

这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如test.json { "name": "bing searcher", "action":...

Combine 是一个用Perl语言开发的开放的可扩展的互联网资源爬虫程序。

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。...

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS，支持真机和模拟器。最大的特点是灵活性，可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

WebCrawler 是一个网站数据采集工具，使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

项目代号：土拨鼠 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫...

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解...

美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集 2.可自定义网站标题,关键字,描述等 3.可选择是否应用新浪SAE平台 支持 新浪SAE环境 与普通环境自由切换 4...

Arachnid 是一个基于 Java 的 Web spider 框架。它包括一个简单的HTML解析器对象，可以解析包含HTML内容的输入流。简单的网络蜘蛛可以通过对Arachnid进行子类化并...

NZBGet是一个新闻采集器，其中从新闻组下载的资料格式为nzb文件。它可用于单机和服务器/客户端模式。在独立模式中通过nzb文件作为参数的命令行来下载文件。服务器和客户端都只有一个可执行文件”...

贴吧精灵 百度贴吧发贴机 要的请自己下载哦。 有啥问题，BUG请联系我哦，admin@baidupost.com，完全免费中。 使用说明 1.设置好用户名，贴吧，内容就可以直接发送了 2.绿色软...

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。 示例代码： import java.util.ArrayList; im...

Weboob (Web Out Of Browsers) 提供了很多工具用来和很多的网站进行交互。例如在youtube上搜索并播放视频；查询天气、银行帐号等等信息。

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和u...

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...