• 五星
  • 四星
  • 三星
  • 二星
  • 一星
(1)
杭州 同盾科技 高级后端工程师

500元/天

可工作地点: 杭州 远程

可工作时间: 工作日20:00-22:00、周末08:00-20:00

0
关注
0
粉丝
5
可视化管理爬虫脚本,动态更新爬虫脚本。
周期性爬虫,使用celerybeat管理周期性任务
分布式部署爬虫worker,极强的横向扩展能力
模拟浏览器,可以实现拖动滑块登录
日志收集系统,可以分析爬虫运行情况
优化并维护可视化分布式公开爬取系统。 搭建了打码中心,代理中心,日志收集系统。 管理打码服务器