猛男精选电影排行榜

2021年8月 - 2021年9月
1.爬虫模块
·根据需求分析使用Python编写爬虫对国内豆瓣，国外IMDB，烂番茄等有参考价值等电影网站的排行榜进行批量抓取，抓取每个电影详情页面的内容以及部分精选评论。
·使用异步框架Asyncio，Rabbitmq重写所有网站的爬虫模块后，通过并发执行任务，提高了300%的爬取速度，大幅缩减了任务完成时间。同时改进爬虫策略，降低了被屏蔽的请求数。
2.网站项目
·为了展示抓取的电影数据，基于Fastapi + Vue 独立构造了完整的前后端分离的web项目，使用了Echarts对电影数据进行可视化处理。
·因MySQL的全文检索功能无法满足需求，使用Elasticsearch将已经开源的人人影视资源数据库建造了一个全文搜索引擎，现在使用者能够一键获取到电影下载链接。