代码更新 2009-11-25： 加入反爬虫功能。直接Web访问服务器将跳转到Google。 使用方法 下载index.zip 解压index.zip得到index.php 将index.php...

一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。

作为一个入门级的程序员，用ruby写的一个小脚本，可以采集某人才网的人才数据，写的不好。头一次发布，希望大大们批评指正。 采集某网站的人才数据，保存到csv文件中，同时导入数据库

Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 最新提示：欢迎来体验最新版本Spiderman2，...

commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。 Common Crawl 提供一个示例程序 BasicArcFileReaderSample.j...

本系统采用主流编程语言php和mysql数据库，您可以通过自定义采集规则，或者到我的网站下载共享的规则，针对网站或者网站群，采集您所需的数据，您也可以向所有人共享您的采集规则哦。通过数据浏览和编...

爬虫软件MetaSeeker，现已全面升级为GooSeeker。 新版本已经发布，在线版免费下载和使用，源代码可阅读。自推出以来，深受喜爱，主要应用领域： 垂直搜索（Vertical Searc...

QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRec...

Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。

playfish是一个采用java技术，综合应用多个开源java组件实现的网页抓取工具，通过XML配置文件实现高度可定制性与可扩展性的网页抓取工具 应用开源jar包包括httpclient(内容...

Ebot 是一个用 ErLang 语言开发的可伸缩的分布式网页爬虫，URLs 被保存在数据库中可通过 RESTful 的 HTTP 请求来查询。

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

HiSpider is a fast and high performance spider with high speed 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能...

BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。

Methanol 是一个模块化的可定制的网页爬虫软件，主要的优点是速度快。

JSpider 是一个用 Java 实现的 WebSpider，JSpider 的执行格式如下： jspider [URL] [ConfigName] URL 一定要加上协议名称，如：http:...

urlwatch 是一个用来监控指定的URL地址的 Python 脚本，一旦指定的 URL 内容有变化时候将通过邮件方式通知到。 基本功能 配置简单，通过文本文件来指定URL，一行一个URL地址...

Snoopy 是一个强大的网站内容采集器（爬虫）。提供获取网页内容，提交表单等功能。

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。 安装方法：sudo gem install spidr 代码示例： Spidr.start_at('...