Python实用工具集（爬虫+Excel处理+文件整理）产品系统

本工具集面向需要批量处理数据和文件的个人用户与小型企业，旨在解决日常工作中重复性的数据采集、Excel处理和文件整理问题。在办公场景中，用户经常需要从网页采集数据、批量处理Excel表格、整理大量文件，这些重复工作耗时且容易出错。本工具集通过Python脚本实现自动化处理，大幅提升工作效率，减少人工操作错误。适用于数据分析、办公自动化、文件管理等行业场景。

本Python实用工具集包含三大功能模块：

1. 豆瓣电影TOP250爬虫模块：
- 自动爬取豆瓣电影TOP250的完整信息
- 提取电影名称、评分、评价人数、年份、引言、详情链接
- 支持自定义爬取数量和输出文件名
- 自动分页爬取，内置随机延时和重试机制
- 结果保存为CSV格式，可直接用Excel打开
- 输出统计摘要，包括平均分、评分分布等

2. Excel批量处理工具模块：
- 合并多个Excel/CSV文件，支持添加来源文件列
- 去除重复行，支持按指定列或整行去重
- 格式转换，Excel与CSV互转
- 数据清洗，包括去空行、去空格、填充空值
- 选择指定列，按条件筛选数据
- 查看文件详细信息，支持交互式菜单和命令行两种模式

3. 自动化文件整理工具模块：
- 批量重命名文件，支持自定义前缀、起始编号、编号位数
- 按文件类型自动分类，支持14种文件类型识别
- 按日期分类整理，支持创建时间或修改时间
- 批量修改文件扩展名
- 查找重复文件，基于文件名和大小判断
- 删除空文件夹，查看文件夹统计信息
- 支持预览模式，不实际执行即可查看操作结果

本项目由本人独立完成全部开发工作，负责需求分析、架构设计、编码实现和测试优化。

技术栈与架构：
- 开发语言：Python 3.x
- 爬虫模块：使用requests库发送HTTP请求，BeautifulSoup4解析HTML，支持自定义User-Agent和请求头
- Excel处理模块：基于pandas和openpyxl库，支持多种文件格式读取和写入
- 文件整理模块：使用os、shutil、pathlib等标准库，跨平台兼容
- 交互设计：同时支持交互式菜单模式和命令行参数模式，用户可按需选择

实现亮点：
1. 健壮的错误处理机制：网络请求失败自动重试，文件操作异常捕获并提示
2. 安全的文件操作：重命名和移动文件时自动处理重名，避免覆盖
3. 预览模式：文件整理工具支持--dry-run参数，不实际执行即可预览操作结果
4. 编码兼容：CSV文件自动尝试多种编码读取，解决中文乱码问题
5. 性能优化：爬虫内置随机延时避免被封，批量处理使用向量化操作提升效率

技术难点与解决方案：
- 反爬机制：通过设置真实User-Agent、随机延时、请求头伪装等方式应对
- 大文件处理：使用pandas分块读取，避免内存溢出
- 跨平台兼容：使用pathlib和os.path处理路径，确保Windows、Mac、Linux均可运行