爬虫脚本产品系统

本公司为餐饮咨询服务商，线下调研人员人工实地搜集沿街商铺租金、空置房源、商圈人流配套信息，成本高、信息更新滞后，影响客户餐饮门店选址评估效率。项目自动化抓取安居客、链家商铺房源数据，替代人工摸排，汇总各商圈商铺租金、地段、配套数据，为餐饮客户开店选址、商圈品类布局提供数据支撑。

包含商铺分布式采集、数据清洗、定时巡检、数据入库、数据导出五大模块。自定义抓取商铺租金、面积、周边业态、区位配套等字段，可按商圈 / 行政区筛选抓取，支持按日定时增量更新房源；自动剔除失效下架房源，规整后结构化存入数据库，以 Excel、API 两种形式交付餐饮选址调研数据。

我负责需求拆解、爬虫开发与反爬优化，独立完成安居客、链家商用房源爬虫开发。技术：Python+Scrapy+Playwright、Redis 代理 IP 池、MySQL 存储、Linux Cron 定时任务；难点是平台接口加密、动态渲染、IP 风控封禁，通过请求头伪装、代理轮询、接口逆向完成适配，稳定采集商铺数据作为餐饮选址调研数据源。