HTTPS

自动获取数据：项目可以代替人工进入目标平台，完成原本需要手动点击、检索、翻页、查看详情的过程，把所需数据自动取回来。自动补全关键信息：很多平台上的信息不是一次就能拿全，往往还需要补摘要、状态、分类等关键字段。这个项目把这些补充动作也纳入流程里，避免人工二次查找。自动整理成表格：拿到数据后，项目不会停

获取网页的各种数据，如评论，图片，小说文字，视频，商品价格，好评数量等等，一些可收集在mongodb,redies,MySQL等数据库中，也可以用csv文件保存或保存在Excel中；小说数据可以文档、epub电子书等形式保存，可以结合数据进行数据分析

1.为客户自动生成web3钱包，在数据库层面关联推特(X)，谷歌，指纹浏览器id等信息2.为指定脚本生成任务，并将以上信息作为任务参数一起传递给任务，存放于队列中3.消费者通过http请求从生产者(服务端)请求任务，返回任务状态