招聘平台信息专业爬取demo开源项目

① 爬虫抓取模块（scrape_lightweight.py）：基于 curl_cffi 异步并发，模拟 Chrome 131 浏览器指纹，自动轮转代理池，支持断点续爬，可抓取猿急送平台所有兼职项目数据（标题、预算、工时、状态、描述等）。

② 智能过滤模块：内置黑名单关键词库，自动排除高难度（架构/专家/底层）、违规敏感（翻墙/刷单/赌博）、硬件 IoT、游戏开发等不适宜大学生接取的项目。

③ 技术分类模块（classify.py）：根据项目描述中的技术关键词，自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向，并分 Sheet 输出。

④ 学生项目筛选模块（filter_student_projects.py）：在过滤基础上，进一步筛选预算 ≤500元、非驻场的项目，按预算升序排列，输出适合大学生的项目清单。

⑤ 代理池模块（proxy_pool.py）：自动从快代理、free-proxy-list 抓取免费代理，连通性测试后按成功率加权随机选取，失败 3 次自动拉黑，定期恢复。