 构造百度搜索、搜狗搜索结果的页面链接，用request.get方法对百度搜索和搜狗搜索结果url发送请求，将response响应结果获取源码并用正则表达式提取每个搜索结果的页面排名和页面链接； 因搜狗有反爬限制，当爬虫发送请求频率太快则会被封ip，百度则正常。因此搜狗搜索发送请求时从request中添加headers请求头信息（包括ua和cookies）。再添加多个ua列表每次请求用随机ua，且每次请求时获取response返回的cookies并保存，等下次发送请求时再使用新的cookie，再降低请求频率； 从搜索结果中如果匹配到需要查询排名的域名则停止，否则一直翻页查询结果