电子产品信息查询可视化系统产品系统

电商平台上的电子产品价格、型号和评价数据分散在成千上万个商品页里，人工整理既慢又容易出错，消费者和采购人员很难快速横向对比不同品牌和价位的差异。本项目立项是为了解决「数据分散、无法对比」的问题：通过爬虫自动采集商品信息并入库，再以列表检索和统计图表的方式呈现，让用户能按品牌、价格区间快速筛选。适用于电子产品导购、市场行情分析和数据类课程实践。

系统由数据采集、数据存储、数据展示三层组成。采集层基于 Scrapy 编写爬虫，按关键词翻页抓取电商平台的手机商品列表，解析标题、价格、评论数、店铺等字段，做去重、异常价格过滤和 emoji 清洗后写入 MySQL。展示层提供商品列表（分页、关键词搜索、按品牌和价格区间筛选）、商品详情，以及按品牌和价格区间分组统计的接口，用于生成柱状图和占比图；后台管理包含商品信息维护、用户管理、资讯与关于我们等内容的编辑。系统还提供 Excel 导入导出和文件上传接口，方便批量维护数据。

我负责需求分析、爬虫脚本开发与前后端接口联调。爬虫采用 Scrapy 框架，通过下载延迟、随机 User-Agent 控制抓取节奏，管道层完成字段清洗后写入 MySQL；后端基于 Django 提供列表、详情、分组统计与 Excel 导入导出接口，使用 PyMySQL 连接数据库；前端调用统计接口渲染品牌分布和价格区间图表。实现中的难点是页面结构变动导致解析失败，以及脏数据（emoji、空价格、重复商品）的处理，通过选择器容错、字段校验和按商品 ID 去重解决。