给做招聘分析和外包团队用:同一个人在 BOSS、智联、猎聘、前程无忧上看到的岗位描述不一样,运维和 HR 需要按城市、岗位、薪资做对比,此前只能一页页手抄到 Excel,字段还对不上。目标是把四个平台的岗位合成一份可筛选的表,城市、薪资、学历、经验四列能横向比较。
点击空白处退出提示
给做招聘分析和外包团队用:同一个人在 BOSS、智联、猎聘、前程无忧上看到的岗位描述不一样,运维和 HR 需要按城市、岗位、薪资做对比,此前只能一页页手抄到 Excel,字段还对不上。目标是把四个平台的岗位合成一份可筛选的表,城市、薪资、学历、经验四列能横向比较。
项目分三层:抓取层按关键词与城市翻页采集四个平台的公开岗位页面;清洗层把职位、公司、城市、薪资、学历、经验统一成同一套字段,薪资三种写法统一换算成月薪区间;导出层去重后写 Excel,支持按城市与经验分组统计。最终把 4,579 行原始数据去重 892 行,输出 3,687 条,重复 0。
我独立完成采集、字段对齐与导出。技术上用 requests + 解析器分离:解析器只负责从页面拿到原始字符串,清洗统一在一个模块里做,两步可单独重跑。难点在字段差异:薪资有区间、年薪、纯数字三种写法,猎聘的城市列是编码(如 050060),要取地区名;招聘人姓名不入中间结构,从解析器就不读。



评论