个人介绍
熟练使用 Scrapy 分布式爬虫框架、Playwright/Selenium 处理动态 JS 渲染页面,依托 Redis 实现任务队列与代理 IP 池调度,搭配 MySQL 完成结构化数据存储,可基于 Linux-Cron 配置定时自动化抓取任务;擅长解决网站加密签名、滑块验证码、IP 封禁、动态反爬等各类风控难题。
擅长从业务需求出发拆解采集规则,完成爬虫开发、数据清洗、数据交付全流程,依托自动化采集替代人工搜集数据,帮助客户高效获取房产房源、菜谱食材、农产品报价、社交舆情等行业数据,赋能客户市场定价、选址、货源规划等商业决策。
工作经历
2022-11-01 -至今辰智大数据爬虫工程师
多源房产数据采集系统|2023.04-2026.06 项目定位:搭建房产分析底层数据底座,服务房价研判、房源比价业务 1. 独立开发安居客、链家、我爱我家爬虫,落地全国300+城市全量房源采集; 2. 自研代理池+动态请求限流策略,攻克IP封禁、滑块验证码难题,抓取成功率70%→98%; 3. 基于Whenever配置定时任务自动化同步,替代人工录入,采集效率提升90%,单日处理数据50万+。 餐饮美食全维度数据采集平台|2022.03-2026.05 项目定位:赋能美食推荐、菜品定价比价系统,汇聚菜谱+线下门店多维数据源 1. 搭建下厨房、美食天下等菜谱爬虫,落地10W+全维度菜谱结构化数据; 2. 逆向破解肯德基、德克士等连锁快餐小程序加密接口,批量抓取全国2W+门店菜单与售价; 3. 设计数据清洗&空值过滤规则,拦截脏数据入库,整体数据准确率≥99%。 宏观经济数据自动化采集项目|2024.06-2026.05 项目定位:对接官方权威数据源,实现宏观民生数据自动化入库,淘汰手工录入 1. 开发国家统计局、气象局、惠农网等官方数据源爬虫,落地民生、经济指标常态化采集; 2. 适配官
教育经历
2018-09-01 - 2022-06-01湖南涉外经济学院计算机科学与技术本科
在校主修计算机科学与技术专业,系统学习编程语言、数据库、计算机网络、数据结构等专业课程。深耕爬虫开发与大数据采集方向,课余独立完成房产、餐饮、宏观经济等多行业数据采集项目,熟练掌握Python、Ruby、MySQL等技术,积累了接口逆向、爬虫架构搭建与数据清洗落地经验。
语言

包含农产品价格采集、微博餐饮舆情抓取、异常价格过滤、定时监控、数据预警导出模块。抓取生鲜产地批发价、上市量、网友餐饮消费点评、热门餐饮趋势,高频巡检食材价格变动;自动清洗无效广告、乱码数据,价格异动标记提醒,规整数据对外输出支撑咨询业务。

分为多端内容采集、食材标准化清洗、定时增量抓取、数据库存储、数据输出模块。可抓取菜名、食材配料、烹饪步骤、用户热门点评等信息,支持按菜系/食材分类筛选,每日自动增量爬取上新菜品;统一食材单位、剔除广告无效内容,清洗后的数据通过Excel/API供给公司咨询部做菜品分析。



