项目描述: 一个账号爬取服务,项目主要有后端服务和 APP 两部分组成。 主要功能模块有:通讯录管理、账号注册站点、数据爬取服务
1、整个项目背景背景比较特殊:只采用简单的3层架构,Nginx代理应用服务,mysql作为数据库,及redis供app登录使用
2、采用 docker 部署运行 (国外服务器便于部署)
3、数据爬取服务主要采用 Selenium-Java 进行爬取,配合 Selenium-Hub 进行自动相关数据爬取,另外一部分使用httpclient进行爬取
点击空白处退出提示
评论