surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phatom两种下载内核。
支持固定UserAget自动保存cookie与随机大量UserAget禁用cookie两种模式，高度模拟浏览器行为，可实现模拟登录等功能。
高并发爬虫Pholcus的专用下载器。
Usagepackage maiimport ( "github.com/herylee2c/surfer" "io/ioutil" "log")fuc mai() { // 默认使用surf内核下载 resp, err := surfer.Dowload(&surfer.DefaultRequest{ Url: "https://github.com/herylee2c/surfer", }) if err != il { log.Fatal(err) } b, err := ioutil.ReadAll(resp.Body) log.Pritl(strig(b), err) // 指定使用phatomjs内核下载 resp, err = surfer.Dowload(&surfer.DefaultRequest{ Url: "https://github.com/herylee2c", DowloaderID: 1, }) if err != il { log.Fatal(err) } b, err = ioutil.ReadAll(resp.Body) log.Pritl(strig(b), err) resp.Body.Close() surfer.DestroyJsFiles()}
评论