项目一:爬取中国五矿集团有限公司采购信息 --- 请求参数加密
实现步骤:发送public和logonAction.do请求 从后台获取公钥key和cookie, ,用公钥加密参数作为密文载荷,可以根据url进行全局搜索,进行断点调试,破解sign参数,通过webpack分析加密逻辑,通过这个项目,我学会了如何使用 Python+js联动爬取由weapack打包的sign签名加密案例网站
项目二:爬取采招网超标查询平台的招标信息 -----响应数据解密
实现步骤:发送GetSearchProHandler.ashx网络请求,利用抓包工具分析网页请求头或者请求参数并没有加密,反而回来的数据是加密后的,由于一般的响应数据加密是对称加密的,利用排除法,于是通过全局搜索decrypt关键字,在返回的js源文件中通过调试,发现了加密和加密的位置,通过本地CryptoJS.AES测试,发现正式标准的AES对称加密方法,可以使用 Python+js联动对请求后加密的响应数据进行解密