一、立项原因
跨境电商卖家做选品时依赖人工逛平台、手动记表格：类目数据分散在多个站点，价格与评论每天变化，人工采集一天只能覆盖几百个商品，还容易漏掉涨价、断货、差评激增这些关键信号，等发现时窗口期已经过去。
二、行业场景与业务背景
服务对象是做亚马逊、独立站的中小卖家和代运营团队。他们需要每天监控指定类目的销量、价格、评论与排名变化，按趋势筛选潜力款，并把结果沉淀成选品报告给运营决策。业务链路是采集任务配置、多站点抓取与清洗、指标计算入库、看板与报告输出，数据要可追溯到采集时间与来源页面。
一、采集任务管理。按类目、关键词、店铺配置采集任务，支持定时调度、增量抓取、限速与代理池，任务失败自动重试并告警。
二、数据清洗与入库。多站点字段对齐、去重、价格与汇率归一，异常数据隔离；原始页面快照留存，指标可回溯。
三、指标计算。销量与评论增量、价格波动、BSR 排名变化、竞品集中度，按天滚动计算并生成趋势。
四、可视化看板。类目大盘、商品榜单、趋势曲线、竞品对比，支持自定义筛选与导出 Excel。
五、选品报告。按模板一键生成周报，包含潜力款推荐与风险提示，可直接发给运营。
六、系统管理。数据源与代理配置、任务监控、账号权限与操作审计。
一、我的职责
独立完成整套系统：采集框架与反爬策略、数据清洗与指标计算、接口与看板、任务调度与运维。
二、技术栈与架构
采集层用 Python 异步请求配合请求池与代理池，按站点实现解析模板，页面快照落对象存储；调度用 Celery Beat 按任务配置生成作业，Redis 做队列与限速计数；数据落 PostgreSQL，按 tenant 与类目分区，日增量百万级；指标层用定时任务滚动计算并写入汇总表，接口层只查汇总表保证看板秒开。前端 Vue 3 + Element Plus 实现任务配置、榜单、趋势与导出。
三、亮点
解析模板与采集器解耦，新站点接入从一天缩短到两小时；限速与重试让采集成功率稳定在 97% 以上；看板查询全部走预聚合表，首屏 800 毫秒内出数据。
四、难点
反爬与封禁用代理池加随机化请求特征缓解；多站点字段差异用映射配置而非硬编码；历史数据补采要保证幂等，用唯一键加采集批次号去重。
评论