本项目旨在解决二手电商平台（闲鱼）商品数据难以系统化采集和分析的问题。闲鱼作为国内最大的二手交易平台，每天产生海量的商品信息，但平台本身缺乏对历史价格、商品趋势、卖家信誉等数据的统计分析功能。对于想要了解市场行情、做竞品分析、或者寻找低价好物的用户来说，手动浏览和记录效率极低。本项目通过自动化爬虫技术，帮助用户批量获取商品标题、价格、地理位置、卖家信息等关键数据，为二手交易决策提供数据支撑。
本项目的行业场景属于“电商/新零售”领域中的“数据采集与市场分析”细分场景。具体业务背景包括：一是二手电商市场规模持续增长，闲鱼平台年交易额已突破数千亿，但信息不对称问题严重，同一商品在不同卖家间的价格差异可达数倍；二是个人买家/卖家缺乏专业的数据分析工具，无法快速判断商品的合理价格区间；三是批量采集平台数据可为后续的行情分析、价格预测、异常低价监控等增值服务提供基础数据源。本项目正是为了解决上述业务痛点而开发的工具型应用。
项目包含以下核心功能模块：（1）登录认证模块：支持二维码扫码登录和Cookie持久化存储，实现免重复登录；（2）浏览器管理模块：负责Playwright浏览器实例的启动、反爬虫特征隐藏、页面滚动和随机延迟控制；（3）数据解析模块：从搜索结果页面提取商品标题、价格、图片链接、地理位置、卖家信息、发布时间等字段；（4）数据存储模块：支持将采集结果导出为CSV、Excel、JSON等多种格式；（5）页面调试模块：用于分析目标网站页面结构，辅助定位数据提取规则。 用户可通过命令行工具执行以下操作：首先运行登录命令，打开浏览器窗口后使用手机淘宝/闲鱼App扫码完成登录，程序自动保存登录凭证；随后可输入关键词（如“iPhone15”）和需要爬取的页数，程序会自动遍历搜索结果页面，模拟人类浏览行为（随机延时、滚动加载）以规避反爬机制；采集到的商品数据会自动去重并保存为CSV文件，包含商品标题、价格、图片链接、卖家所在地区、卖家信誉等级等字段。整个流程实现了从登录到数据导出的全自动化。
我独立完成了整个项目的开发工作，包括：需求分析与功能设计（确定需要采集的字段、反爬策略、数据输出格式）；技术选型（选择Playwright作为浏览器自动化框架、Python作为开发语言）；核心代码编写（实现登录认证、Cookie持久化、页面解析、数据存储等模块）；调试与优化（解决Cookie跨域加载失败问题、优化登录状态检测机制、处理页面异步加载延迟）；测试验证（在Windows环境下进行多轮功能测试，确保搜索和登录流程稳定运行）。 技术栈：Python 3.12作为开发语言，Playwright 1.48.0作为浏览器自动化核心库，配合requests、beautifulsoup4进行辅助数据解析，pandas用于数据处理，python-dotenv管理配置，CSV/JSON作为数据输出格式。
架构亮点：采用模块化设计，将认证、浏览器管理、解析、存储分离为独立模块，便于后续维护和扩展；使用Playwright的storage_state功能完整保存登录态（含Cookie和localStorage），实现长期免登录；通过添加反检测脚本隐藏webdriver特征，降低被平台识别的风险。
实现难点及解决方案：（1）Cookie加载后仍需要重新登录的问题——通过改用完整的storage_state保存登录状态，并自动修复sameSite属性解决；（2）登录成功后浏览器自动关闭的问题——通过手动管理playwright生命周期，不使用with上下文管理器，让浏览器保持打开直到用户主动关闭；（3）页面异步加载导致数据提取不完整——通过模拟滚动和等待网络空闲策略解决。
评论