房源信息采集系统产品系统Vibe Coding

面向房产平台的自动化数据采集需求：人工浏览房源页面效率低、成本高，且目标网站有验证码反爬机制。本系统构建自动化采集管线，网页端与 APP 端双通道采集房源信息，配合自建打码平台突破验证码限制，实现日采集 5000+ 条稳定产出。适用于房源聚合、市场分析、竞品监控等需要持续获取房产数据的业务。

系统核心功能：1、双通道采集：网页端 Playwright 渲染翻页采集 + 安卓 APP 端 uiautomator2 自动操作，覆盖不同客户端数据源；2、验证码处理：自建打码平台，Chrome CDP 检测验证码→截屏→手机端远程点击/拖动→坐标回传自动操作，Python + Flask + WebSocket 实现，成功率 97%+；3、数据清洗：字段标准化、去重、URL 规范化；4、增量入库：MySQL 增量更新，数据可追溯；5、监控看板：采集量、各城市分布、打码成功率实时统计。

我独立完成系统设计与全部实现。技术栈：Python 为主，Playwright 负责网页采集与翻页，uiautomator2 驱动安卓 APP，Flask + WebSocket 搭建打码平台实时通道，Chrome DevTools Protocol 检测验证码并截屏回传。架构采用「采集-打码-清洗-入库」四段流水线，采集与打码解耦异步执行。亮点是自建打码平台：验证码不再依赖第三方打码服务，手机端人工远程处理，坐标回传后自动化继续，突破了纯自动化过不了验证码的瓶颈。