MongoDB

1、网页端：针对Webpack混淆、异步分包、无限Debugger、内存爆破、动态字体加密等防护站点做JS逆向，还原签名加密逻辑，通过Node补环境实现加密代码脱机运行，脱离浏览器采集公开数据。2、小程序端：wxapkg解包、混淆代码还原，解析加密接口与签名算法，开发稳定采集脚本。3、数据持久化：采

系统支持配置目标网站、商品链接、采集字段和执行周期，可自动完成列表翻页、商品详情解析及动态页面数据获取。主要功能包括定时采集、任务启停、失败重试、访问限速、数据去重、价格历史记录、库存变化记录、运行日志和异常告警。采集结果可导出为Excel、CSV和JSON，也可保存至MySQL数据库，并通过Fas

获取网页的各种数据，如评论，图片，小说文字，视频，商品价格，好评数量等等，一些可收集在mongodb,redies,MySQL等数据库中，也可以用csv文件保存或保存在Excel中；小说数据可以文档、epub电子书等形式保存，可以结合数据进行数据分析