Java

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

SSHTunneler allows you to easily manage SSH tunnels for yourself.

代码更新 2009-11-25： 加入反爬虫功能。直接Web访问服务器将跳转到Google。 使用方法 下载index.zip 解压index.zip得到index.php 将index.php...

JediTerm 提供了一个纯 Java 的终端部件可轻松的嵌入到集成开发环境中。支持 SSH 终端会话和 OS X、Linux 和 Windows 上的 PTY。 JetBrains 的一系列...

goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。 GC基于httpclient、htmlunit、jsoup、elasticsearch。 G...

BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。

YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启...

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。

Spindle 是一个构建在 Lucene 工具包之上的 Web 索引/搜索工具。它包括一个用于创建索引的 HTTP spider 和一个用于搜索这些索引的搜索类。Spindle 项目提供了一组...

Web-Harvest 是用 Java 编写的开源 Web 数据提取工具。它提供了一种收集所需网页并从中提取有用数据的方法。为了做到这一点，它利用了成熟的文本/xml操作技术，如XSLT、XQu...

JSpider 是一个用 Java 实现的 WebSpider，JSpider 的执行格式如下： jspider [URL] [ConfigName] URL 一定要加上协议名称，如：http:...

WebLech是一个功能强大的 Web 站点下载与镜像工具。它支持下载网站所需的许多功能，并尽可能地模拟标准的网络浏览器行为。WebLech是多线程的，并将具有一个GUI控制台。

VNClipse为Eclipse提供一个VNC实现。利用这个插件可以在Eclipse平台中管理远程计算机。当前的版本仍然是beta,它只兼容的 Eclipse 3.1.0 (win32)。

Nutch Htmlunit Plugin 重要说明： 当前项目基于Nutch 1.X系列已停止更新维护，转向Nutch 2.x系列版本的新项目：http://www.oschina.net/p...

playfish是一个采用java技术，综合应用多个开源java组件实现的网页抓取工具，通过XML配置文件实现高度可定制性与可扩展性的网页抓取工具 应用开源jar包包括httpclient(内容...

Android VNC Viewer 是 Android 平台上的一个 VNC Viewer 软件。

commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。 Common Crawl 提供一个示例程序 BasicArcFileReaderSample.j...

Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 最新提示：欢迎来体验最新版本Spiderman2，...

Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。

CommandFlow 是一个灵活的命令框架，它删除了命令中使用的大量样板代码。 用法 CommandFlow 命令框架分为两部分。一个是实际的命令框架，另一个是允许基于注释创建完整命令树的 A...