网络爬虫

一个可扩展的PHP WEB 蜘蛛，示例代码： use VDB\Spider\Spider; use VDB\Spider\Discoverer\XPathExpressionDiscovere...

Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。 1.数据存在mysql当中。 2.使用时，先修改web-inf/config.ini的数据链接相关信...

一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。

Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码： require 'harvestman' Harvestman.crawl 'http:...

simspider - 网络爬虫引擎 1.简介 simspider是一个轻巧的跨平台的网络爬虫引擎，它提供了一组C函数接口用于快速构建你自己的网络爬虫应用，同时也提供了一个可执行的爬虫程序用于演...

代码更新 2009-11-25： 加入反爬虫功能。直接Web访问服务器将跳转到Google。 使用方法 下载index.zip 解压index.zip得到index.php 将index.php...

Upton 是一个用于简化web抓取与一个有用的调试模式的框架，可单独为目标网站编写内容解析。

surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核。 支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，...

作为一个入门级的程序员，用ruby写的一个小脚本，可以采集某人才网的人才数据，写的不好。头一次发布，希望大大们批评指正。 采集某网站的人才数据，保存到csv文件中，同时导入数据库

crawl-me是一个基于plugin的轻量级快速网页图片下载工具。crawl-me通过简单的命令行就可以用你想要的方式下载各个网站下的图片。目前暂时只支持gamersky(游明星空), pix...

Nutch Htmlunit Plugin 重要说明： 当前项目基于Nutch 1.X系列已停止更新维护，转向Nutch 2.x系列版本的新项目：http://www.oschina.net/p...

爬虫简介： WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Had...

goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。 GC基于httpclient、htmlunit、jsoup、elasticsearch。 G...

Egg 简介 Egg 它一个通用高效的爬虫,希望它能够替大家实现一些需求，更希望能为开源做出自己的贡献。目前，还在成长，在我的构想下，它还需要添加很多功能，我会继续完善。有任何疑问以及需求请以与...

Spiderq 是一个网页爬虫，性能依赖于服务器配置和网络情况。

本项目 fork 项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。 同时项目架构、部分思路...

JAVA平台上的网络爬虫脚本语言 CrawlScript 网络爬虫即自动获取网页信息的一种程序，有很多JAVA、C++的网络爬虫类库，但是在这些类库的基础上开发十分繁琐，需要大量的代码才可以完成...

Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。 示例代码： var osmosis = require('osmosis'); osmosis ....

spider-utils-for-php: 原则： 简单、易用、灵活、任性任性任性就是任性！ 特色： php 界内最简单易用的 http-utils，自动识别支持 curl、socket、fil...

Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。 最新提示：欢迎来体验最新版本Spiderman2，...