此项目主要是自动登录京东淘宝网站,定时获取京东、淘宝上自家店铺的商业数据,解析清洗到数据库中,供产品进行分析定位。并将程序运行状态通过dingtalk发送到钉钉报警群进行监控。
开发环境:python+selenium+pyppeteer+msyql
1. 使用selenium,自动输入账号密码进行登录,操作滑动进行图片验证,循环自动登录淘宝网站店铺,通过操控页面元素点击按钮等,分批获取指定tab页上的数据,将数据解析清洗到mysql数据库中。
2. 使用pyppeteer,自动输入账号密码进行登录,操作京东页面上的滑块登录,循环自动登录京东网站店铺,通过操控页面元素点击按钮等,分批获取制定tab页上的数据,将数据解析清洗到mysql数据库中。
3. 通过dingtalk模块,将预警信息发送到钉钉报警群中。
难点:京东、淘宝登录时可能会滑块登录验证,淘宝滑块可通过selenium+自身模块的防验证函数+指定版本chromedriver;京东滑块可通过pyppeteer+cv2+指定版本chromedriver