一个简约灵活强大的Java爬虫框架。 Features: 1、代码简单易懂，可定制性强 2、简单且易于使用的api 3、支持文件下载、分块抓取 4、请求和相应支持的内容和选项比较丰富、每个请求可...

Crawler 基于 Java 开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理。 比如CR命令 使用一个Email正则就可以从贴吧中提取所有邮箱 使用Ci命令 爬取所有新...

介绍 p2pspider 是一个 DHT 爬虫 + BT 客户端的结合体, 从全球 DHT 网络里"嗅探"人们正在下载的资源, 并把资源的metadata(种子的主要信息)从远程 BT 客户端下...

QueryList是一套简洁、优雅的PHP采集工具（爬虫），基于phpQuery。 特性： 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有...

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。

guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全 面向业务提供接口，功能覆盖整个爬虫的生命周期(链...

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。 其中配置文件格式为： <?xml version="1.0" encoding="UTF...

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块...

NEOCrawler(中文名：牛咖)，是nodejs、redis、phantomjs实现的爬虫系统。代码完全开源，适合用于垂直领域的数据采集和爬虫二次开发。 【主要特点】 使用nodejs实现，...

此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php

这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如test.json { "name": "bing searcher", "action":...

美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集 2.可自定义网站标题,关键字,描述等 3.可选择是否应用新浪SAE平台 支持 新浪SAE环境 与普通环境自由切换 4...

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统

Weboob (Web Out Of Browsers) 提供了很多工具用来和很多的网站进行交互。例如在youtube上搜索并播放视频；查询天气、银行帐号等等信息。

Bixo 是一个开放源码的Web挖掘工具包，基于 Hadoop 开发和运行。通过建立一个定制的级联管总成，您可以快速创建Web挖掘是专门为特定用例优化的应用程序。

贴吧精灵 百度贴吧发贴机 要的请自己下载哦。 有啥问题，BUG请联系我哦，admin@baidupost.com，完全免费中。 使用说明 1.设置好用户名，贴吧，内容就可以直接发送了 2.绿色软...

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。...

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。 示例代码： import java.util.ArrayList; im...

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

NZBGet是一个新闻采集器，其中从新闻组下载的资料格式为nzb文件。它可用于单机和服务器/客户端模式。在独立模式中通过nzb文件作为参数的命令行来下载文件。服务器和客户端都只有一个可执行文件”...