最终完整批量爬取多页视频代码产品系统

数据采集，数据分析，【立项原因】
日常工作和学习中，经常需要从网站上批量获取数据，但手动复制粘贴效率极低。本项目旨在通过爬虫技术自动化数据采集过程，解决手动收集效率低、易出错的问题。

【行业场景】
适用于数据采集、市场调研、信息汇总等常见场景。

具体的功能模块：
1.采集某个视频网站分页里面各个视频的URL
2.使用异步抓取每个视频的m3u8文件，如果有加密的话可以加上解密逻辑，并且合成完整的视频。
3.将合并完成的视频保存在资源管理器中。

1.任务：将某个视频网站上的视频保存下来变成自己的。
2.使用了异步抓取，速度比较快。分页抓取，只要硬盘够大，可以完整的抓取网站所有的电视剧集。加了很多的保护重试机制，使代码健壮，运行无碍。