网络爬虫

一个简约灵活强大的Java爬虫框架。 Features: 1、代码简单易懂，可定制性强 2、简单且易于使用的api 3、支持文件下载、分块抓取 4、请求和相应支持的内容和选项比较丰富、每个请求可...

美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集 2.可自定义网站标题,关键字,描述等 3.可选择是否应用新浪SAE平台 支持 新浪SAE环境 与普通环境自由切换 4...

此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php

介绍 p2pspider 是一个 DHT 爬虫 + BT 客户端的结合体, 从全球 DHT 网络里"嗅探"人们正在下载的资源, 并把资源的metadata(种子的主要信息)从远程 BT 客户端下...

NEOCrawler(中文名：牛咖)，是nodejs、redis、phantomjs实现的爬虫系统。代码完全开源，适合用于垂直领域的数据采集和爬虫二次开发。 【主要特点】 使用nodejs实现，...

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。

Bixo 是一个开放源码的Web挖掘工具包，基于 Hadoop 开发和运行。通过建立一个定制的级联管总成，您可以快速创建Web挖掘是专门为特定用例优化的应用程序。

Weboob (Web Out Of Browsers) 提供了很多工具用来和很多的网站进行交互。例如在youtube上搜索并播放视频；查询天气、银行帐号等等信息。

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。...

XCrawler - 轻量级、易维护的PHP爬虫框架 特性: 极易上手，具备完善的文档和示例 支持多并发爬取 支持基于 xpath、css 选择器解析内容 模拟浏览器行为，如 user-agen...

Crawler 基于 Java 开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理。 比如CR命令 使用一个Email正则就可以从贴吧中提取所有邮箱 使用Ci命令 爬取所有新...

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。 其中配置文件格式为： <?xml version="1.0" encoding="UTF...

这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如test.json { "name": "bing searcher", "action":...

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统

Blog-Hunter（博客猎手），基于 webMagic 的博客爬取工具，支持慕课、csdn、iteye、cnblogs、掘金和 V2EX 等各大主流博客平台。 主要功能 多个平台：该项目内置...

QueryList是一套简洁、优雅的PHP采集工具（爬虫），基于phpQuery。 特性： 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有...

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块...

Douyin-Bot 是一个用 Python 和 ADB 打造的 Python 抖音机器人。 特性 自动翻页 颜值检测 人脸识别 自动点赞 自动关注 随机防 Ban 原理 打开《抖音短视频》AP...

guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全 面向业务提供接口，功能覆盖整个爬虫的生命周期(链...

贴吧精灵 百度贴吧发贴机 要的请自己下载哦。 有啥问题，BUG请联系我哦，admin@baidupost.com，完全免费中。 使用说明 1.设置好用户名，贴吧，内容就可以直接发送了 2.绿色软...