MongoDB

系统支持配置目标网站、商品链接、采集字段和执行周期，可自动完成列表翻页、商品详情解析及动态页面数据获取。主要功能包括定时采集、任务启停、失败重试、访问限速、数据去重、价格历史记录、库存变化记录、运行日志和异常告警。采集结果可导出为Excel、CSV和JSON，也可保存至MySQL数据库，并通过Fas

获取网页的各种数据，如评论，图片，小说文字，视频，商品价格，好评数量等等，一些可收集在mongodb,redies,MySQL等数据库中，也可以用csv文件保存或保存在Excel中；小说数据可以文档、epub电子书等形式保存，可以结合数据进行数据分析