账号:nm,. 密码:zxasqw12
● 系统特点:无需代码知识便可以完成网页的抓取脚本。可以自动在从机部署爬虫并分配任务。
● 使用技术:thinkphp6、mysql、nginx、python、docker。
● 爬虫脚本录制:使用selenium ide录制脚本。
● 用户可以将录制的脚本粘贴到python 编写的GUI中,并对脚本进行检查和运行。会将脚本内的问题显示在脚本运行日志中,如果脚本通过测试,该python程序会自动上传脚本,并标注上传该脚本的用户。
● 后台系统可以查看用户每日脚本上传数据,以及该用户脚本的运行情况。
● 用户可以在脚本中添加自定义数据,例如:账号、密码、cookie等。
● 系统管理员可以控制每个脚本每日最大的运行次数,以及用户每日的运行总次数。
● 后台会管理每一台从机,并为其分配需要执行的任务。其中每次分配的任务可以分配用户上传的自定义数据。
● 监控每一条任务的运行情况,对运行的失败的任务会进行脚本检查。
● 使用docker将python爬虫端代码封装成镜像。
● 将多个服务器组成内网docker集群,并搭建docke