红人点集

项目介绍：编写爬虫程序，制定js逆向策路，数据提取、分表存储。
技术选型：Scrapy、is逆向、MysQL
项目描述：分析目标网站真实requests 地址和response 内容，使用 js 逆向实现逆向登录，还原 sign 请求签名，访问网页内容并爬取，数量大使用 Scrapy 框架，通过 xpath、正则提取有效信息，将数据保存为 csV 文件，实现可视化，实现了该网站主播查询、产品查询、价格查询、直播数据查询、数据对比等，并存入 MySQL 数据库中。