牛客爬虫产品系统Vibe Coding

指望解决计算机总体招聘市场对于计算机求职者相对不透明的问题，于是自己搞了一个包括，拉钩网，牛客与boss直聘的爬虫加数据分析

就是把数据爬下来然后分析，找关键词，计算数字，锻炼我本人的能力，• 数据采集与去重：通过牛客搜索 API 按多关键词采集 4,218 次岗位记录，按 job_id 去重形成 3,646 个唯一职位、544 家公司
及完整 JD，并保留关键词、多城市、多行业关系。
• 数据治理与 SQL：使用 Python + SQLite 构建 Raw → Structured → Clean → Analysis 分层链路，完成薪资、城市、学历、
经验等字段标准化与质量标记；编写 11 个独立 SQL 分析脚本并生成可复现结果库。
• 岗位与技能画像：建立 83 项技能词典及岗位族规则，生成 7,622 条职位-技能关系；通过人工抽样审计迭代规则，完成岗位族
×技能、城市/学历/薪资等交叉分析。
• 模板偏差控制：使用 SHA-256、SimHash 与 3-gram Jaccard 识别高相似 JD 模板；发现 61.77% 职位属于模板组，并以 1/n
降权做敏感性分析，SQL 出现比例由 8.28% 降至 4.34%

写提示词，人机协作，负责ai不太擅长的部分，技术栈选型，直观观察到偶发bug，不要让ai用一个简单的补丁掩盖错误等，就是爬虫的技术栈