WebDataset Studio产品系统

**WebDataset Studio** 是一款面向本地 AI、RAG 知识库、模型微调数据准备的桌面工具。它可以把指定网页、批量链接、网站 Sitemap、关键词搜索结果中的公开网页内容，整理成结构化 JSON / JSONL 数据集，方便后续导入知识库、向量库或训练流程。

* 支持单个网页采集
* 支持批量 URL 采集
* 支持 TXT 导入链接
* 支持 Sitemap / 站点页面采集
* 支持关键词搜索采集
* 支持网页正文提取、清洗、去重
* 支持文本自动分段，适合 RAG 知识库
* 支持 JSON、JSONL、TXT、CSV 导出
* 支持 RAG JSONL、Alpaca JSONL、ShareGPT JSON、OpenAI messages JSONL
* 支持按任务管理采集结果，不同任务数据互不混杂
* 支持导出质量报告、manifest 清单
* 支持本地 SQLite 保存任务、页面、分块和导出记录
* 支持数据维护：清理失败记录、缓存、导出文件、重置运行数据
* 支持可选动态网页渲染和 CSS 规则抽取

把公开网页整理成 JSONL 数据集
* 把网站文档整理成 RAG 知识库文件
* 把文章、教程、资料页整理成训练语料
* 把批量链接转换为可追溯的结构化数据
* 为本地 AI 助手、知识库系统、问答系统准备资料