目的:
这个程序是用于帮助公司同事拉取公司在抖店数据的,避免同事因为重复劳动而耽误太多工作时间,所以做了一个爬取数据的程序,该程序每隔半小时就会自动拉取一次最新的订单数据,大大保证了数据新鲜度和大大的节省了同事工作时间
功能实现:
1、使用的技术有selenium+PIL+ORC+email等库(初期,后期转为了效率更高的接口向),使用数据审查、导出的方式来抓取数据
2、后续将爬虫程序放置在了一个Windows虚拟机中,使爬虫能够每天不受影响的正常运行
难点:
1、抖店的登录功能,有时候会需要滑块验证 解决方式:使用能够操作鼠标的库(纯系统鼠标操作,并非网页鼠标操作),来执行滑块滑动操作
2、抖店会经常有活动弹窗,使用判定弹窗是否存在的方式来关闭活动弹窗(因为关闭按钮属性一致)
注:本爬虫只用于爬取公司自己的订单数据,并未涉及其他数据
点击空白处退出提示









评论