本项目面向抖音电商精选联盟的直播场景分析业务。运营人员需要按店铺和日期核对每场直播中实际产生结算额的商品,原有流程依赖人工逐页查看、复制商品信息并整理图片,重复抓取历史场次也十分耗时。项目通过自动化采集、日期筛选和历史数据增量缓存,解决多店铺成交商品沉淀、重复采集、数据查询及结果交付效率低等问题。
点击空白处退出提示
本项目面向抖音电商精选联盟的直播场景分析业务。运营人员需要按店铺和日期核对每场直播中实际产生结算额的商品,原有流程依赖人工逐页查看、复制商品信息并整理图片,重复抓取历史场次也十分耗时。项目通过自动化采集、日期筛选和历史数据增量缓存,解决多店铺成交商品沉淀、重复采集、数据查询及结果交付效率低等问题。
系统提供店铺配置与批量采集、Google Chrome 登录状态复用、按起止日期和页数抓取、历史直播场次增量缓存、失败数据重试、成交商品查询以及 Excel 导出等功能。系统只保留单场结算额有值的商品,并记录店铺名称、直播时间、商品名称与链接、高清商品图片、到手价和单场结算额。网页端支持按日期和店铺筛选、分页浏览、放大查看商品图片;导出的 XLSX 文件会自动下载并嵌入高清商品图片,方便业务人员直接查看和整理。
我负责项目的需求梳理、数据采集方案设计、采集脚本开发、历史缓存模型、网页管理界面以及 Excel 导出功能的完整实现。后端使用 Python、asyncio 和原生 ThreadingHTTPServer,通过 Chrome DevTools Protocol及Playwright复用用户已登录的浏览器会话;前端采用 HTML、CSS 和 JavaScript;使用 openpyxl 与 Pillow 完成高清图片处理和 XLSX 文件生成。项目以店铺、直播场次和日期建立增量缓存,历史日期数据不再重复抓取,仅更新可能发生变化的数据,同时解决了登录状态保持、浏览器调试端口、高清图片下载、代理干扰和跨电脑依赖安装等难点。



评论