海外远程求职与人才招聘信息分散在 Telegram 频道、LinkedIn、Facebook 群组等多个渠道,人工逐个翻看效率低、重复多、虚假信息难以识别。为此独立开发一套招聘信息聚合雷达:自动定时抓取多渠道新帖,统一清洗、去重、分类,并在一个看板里筛选查看。
点击空白处退出提示
海外远程求职与人才招聘信息分散在 Telegram 频道、LinkedIn、Facebook 群组等多个渠道,人工逐个翻看效率低、重复多、虚假信息难以识别。为此独立开发一套招聘信息聚合雷达:自动定时抓取多渠道新帖,统一清洗、去重、分类,并在一个看板里筛选查看。
系统包含以下功能模块:1) 多渠道抓取:Telegram 公开频道、LinkedIn 公开接口、Facebook(基于 Chrome DevTools Protocol 浏览器自动化)定时增量抓取;2) 稳定性保障:按来源独立限流、指数退避、429 冷却(15→30→60 分钟),关闭页面后服务端仍持续运行;3) 智能解析:按关键词规则自动识别职级、行业、地区,按实时汇率换算薪资,识别常见诈骗风险信号;4) 实时看板:SSE 实时推送抓取进度,新帖打 NEW 标记,筛选条件保存在 URL 便于分享;5) 数据去重与持久化存储。
本人独立完成全栈开发:服务端 Node.js 24 + TypeScript,Cheerio 解析页面、CDP 驱动浏览器完成登录态抓取;设计统一的数据模型与去重策略;前端 Vue3 + Vite + Tailwind,SSE 实时通信;Vitest 单元测试覆盖解析与分类逻辑。项目可扩展为任意行业的数据采集、舆情监控、竞品价格监控等场景。



评论