爬虫项目：五大联赛历年数据与赔率分析

需求：接的爬虫项目，要求通过公开数据爬取五大联赛2005-2021赛季每场赛事具体数据，包括胜负关系、进球数、联赛排名，同时爬取每场赛事对应赔率与菠菜相关数据。
分析与实现：数据相关网站具有多个页面，ajax 动态加载页面，相关链接通过 js 跳转，经过初步分析联赛数据部分使用开发者工具抓取 json 数据包，利用 requests 包爬取，赔率相关界面结合 selenium 模拟点击并定位相关元素，获取需要数据。后使用 scrapy 框架提高爬取效率。