51_job职位信息爬取产品系统

1. 立项原因：
51job等招聘平台数据分散，人工收集效率低，无法批量分析岗位趋势、薪资范围、技能需求。
2. 行业场景：
面向求职者、HR、培训机构，提供自动化招聘数据采集工具，用于岗位分析、薪资调研、简历优化参考。

1. 具体功能模块：
- 关键词搜索
- 多页翻页抓取
- 职位详情页解析
- 数据清洗与结构化
- 文件自动保存与重名处理
- 日志记录与异常监控
2. 主要功能描述：
用户输入岗位关键词，程序自动搜索51job网站，逐页抓取职位信息，包括职位名称、薪资、地区、经验要求、福利、岗位描述等字段。支持反爬机制（随机延迟、模拟人工点击），自动处理文件重名、路径权限、磁盘空间检查，并记录完整日志便于调试和维护。

1. 我负责的具体任务：
独立完成整个爬虫项目的设计、开发、调试与维护，包括页面解析、反爬策略、异常处理、日志系统、文件存储模块。
2. 技术栈与亮点：
- 技术栈：Python + Selenium + lxml + logging + re
- 架构亮点：面向对象设计、工具库复用、规则配置化
- 难点解决：
* 动态加载页面：显式等待 + 滚动触发
* 文件重名处理：自定义版本号算法，避免覆盖
* 反爬策略：随机延迟、无头模式、模拟人工行为
* 磁盘与权限：自动检查空间、多路径备选写入