豆瓣影评爬取（含简单清洗）源文件源码

内容创作与优化：爬取并清洗豆瓣影评数据，能够为电影、电视剧等影视内容的制作方提供观众对剧情、演员表演、拍摄手法等方面的具体反馈。通过分析这些影评，制作方可以了解观众喜好和痛点，从而在后续的内容创作中进行改进和优化，比如调整剧本情节、选择更符合观众期望的演员等。

一、项目核心功能描述
该项目是自动化豆瓣影评采集与数据整理工具，核心功能为定向爬取豆瓣电影的热门影评数据，对采集到的数据进行清洗处理后，最终以Excel表格形式结构化存储，方便后续分析使用。
二、具体功能模块
1. 数据采集模块（核心爬取能力）
2. 数据解析与清洗模块
3. 数据存储模块
4. 程序控制模块（流程调度）

一、项目核心功能描述
该项目是一款自动化豆瓣影评采集与数据整理工具，核心功能为定向爬取豆瓣电影《肖申克的救赎》（对应豆瓣电影ID：1292213）的热门影评数据，对采集到的数据进行清洗处理后，最终以Excel表格形式结构化存储，方便后续分析使用。
二、具体功能模块
1. 数据采集模块（核心爬取能力）
定向URL构建：基于固定电影详情页，通过 start 参数（0、20、40...2000）循环生成多页影评列表URL，实现“热门影评”分页爬取，覆盖前100页（共2000条）影评数据。
请求伪装与身份验证：通过请求头携带 Cookie （维持豆瓣登录状态，避免未登录爬取限制）、 User-Agent （模拟Chrome浏览器）、 Referer （模拟正常页面跳转），降低被反爬拦截的概率。
HTML响应获取：使用 requests 库发送GET请求，获取每页影评列表的HTML源码，为后续解析提供数据来源。
2. 数据解析与清洗模块
结构化数据提取：基于 lxml 库的XPath语法，精准定位影评关键信息：
提取用户名称：从影评作者头像旁的链接文本中获取。
提取用户评级：从“allstar+数字”格式的class标签中获取评分标题（如“推荐”“力荐”），若未找到评级标签则自动填充“未知评级”，避免数据缺失报错。
提取影评内容：从影评正文容器中获取文本，通过 replace('\n') 去除换行符、 strip() 去除首尾空格，再用 join() 拼接零散文本，解决正文内容碎片化问题。
异常处理：针对“用户未给评级”的场景，用 try-except 捕获 IndexError ，自动填充默认值，保证程序稳定运行不中断。
3. 数据存储模块
因字数限制，所以。。。略
4. 程序控制模块（流程调度）
因字数限制，所以。。。略