网络爬虫

zerg 基于docker的分布式爬虫服务 特性 多机多 IP，充分利用 IP 资源 服务自动发现和注册（基于 etcd 和 registrator） 负载均衡 服务端客户端通信基于 gRPC，...

CrawlerDemon 是垂直应用爬虫，基于akka+okHttp+spring+jsoup ，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。 特点 基于 akka 高性能...

Spiderq 是一个网页爬虫，性能依赖于服务器配置和网络情况。

神箭手云爬虫是一个帮助开发者快速开发爬虫系统的云框架。神箭手提供上手简单，灵活开放的爬虫云开发环境，让开发者只需要在线写几行js代码就可以实现一个爬虫。并且爬虫将自动运行在云服务器上，爬取速度更...

SpiderGirls 是使用java编写的一个开源软件，使用它用户可以轻松地获得某个给定的关键字下的搜索引擎的结果，现在支持bing搜索和sogou搜索。 主页： https://github...

scrapy Scrapy：Python的爬虫框架 实例Demo 抓取：汽车之家、瓜子、链家 等数据信息 版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrap...

crawl-me是一个基于plugin的轻量级快速网页图片下载工具。crawl-me通过简单的命令行就可以用你想要的方式下载各个网站下的图片。目前暂时只支持gamersky(游明星空), pix...

爬虫简介： WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Had...

simspider - 网络爬虫引擎 1.简介 simspider是一个轻巧的跨平台的网络爬虫引擎，它提供了一组C函数接口用于快速构建你自己的网络爬虫应用，同时也提供了一个可执行的爬虫程序用于演...

spider-utils-for-php: 原则： 简单、易用、灵活、任性任性任性就是任性！ 特色： php 界内最简单易用的 http-utils，自动识别支持 curl、socket、fil...

surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phantom两种下载内核。 支持固定UserAgent自动保存cookie与随机大量UserAgent禁用cookie两种模式，...

本项目 fork 项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。 同时项目架构、部分思路...

分布式爬虫框架XXL-CRAWLER XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性； 特性 1、简洁：AP...

Egg 简介 Egg 它一个通用高效的爬虫,希望它能够替大家实现一些需求，更希望能为开源做出自己的贡献。目前，还在成长，在我的构想下，它还需要添加很多功能，我会继续完善。有任何疑问以及需求请以与...

Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。 示例代码： var osmosis = require('osmosis'); osmosis ....

Python-goose项目是用Python重写的Goose，Goose原来是用Java写的文章提取工具。Python-goose的目标是给定任意资讯文章或者任意文章类的网页，不仅提取出文章的主...

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫，可以动态的抓取网页内容。 安装： npm install jedi-crawler 示例代码： var jedi = r...

php实现的dht (BT种子)分布式爬虫 24小时采集 bt种子磁力链接信息 区别于传统爬虫 不会被封ip 采集效率 vultr 1核1G机器 每日大概8~10w条记录 github地址:ht...

Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。 1.数据存在mysql当中。 2.使用时，先修改web-inf/config.ini的数据链接相关信...

VSCrawler是一个适合用作抓取的爬虫框架，在更多场景倾向于功能扩展性而牺牲使用简便性。这让VSCrawler非常强大，让他可以灵活的应对目标网站的反爬虫策略。为了方便描述，文档中可能使用V...