为一家注塑厂寻找海外制造业页的潜在用户,通过linkined公司和人员信息判断员工企业邮箱,已发送营销邮件。
所以需要获取linkedin特定的行业、地点和公司和人员信息
点击空白处退出提示
为一家注塑厂寻找海外制造业页的潜在用户,通过linkined公司和人员信息判断员工企业邮箱,已发送营销邮件。
所以需要获取linkedin特定的行业、地点和公司和人员信息
LinkedIn 数据采集
企业信息采集: 自动采集 LinkedIn 企业基本信息、行业分类、员工规模等
员工数据采集: 支持两种模式:
完整模式 (默认): 深度采集企业员工详细信息,包括职位、联系方式、个人简介等
链接模式: 仅采集员工 LinkedIn 主页链接,跳过详细信息爬取以提高效率
智能筛选: 支持按行业、国家、职位、公司规模等多维度筛选
两种搜索模式: 关键词模式 / 筛选模式
分布式任务调度
智能调度: 基于账号可用性和加权权重 (6:4) 的任务调度
子任务机制: 公司采集后自动创建员工采集子任务,每批 5 个公司
负载均衡: 自动分配账号执行任务,避免单点压力
故障恢复: 支持任务重试和失败自动恢复
账号管理系统
多账号支持: 支持多个 LinkedIn 账号轮换使用
智能锁定: 分布式锁确保账号互斥使用
运行时间控制: 账号最大连续运行 15 分钟后强制休息 5 分钟
Cookie 管理: 自动保存和恢复登录状态
邮箱验证: 支持 Gmail 和 QQ 邮箱自动获取验证码
实时状态管理
任务监控: 实时跟踪任务执行状态和进度
取消控制: 支持任务取消和暂停操作
结果统计: 自动统计采集结果数量和成功率
心跳机制: 任务运行状态实时更新
语言: Python 3.12+
构建工具: uv
浏览器引擎: Camoufox (反检测) / Playwright
Web 框架: FastAPI + Uvicorn
任务调度: APScheduler
消息队列: Redis Stream
数据库: MySQL + Redis




评论