HyFetcher站点索引生成器开源项目

我要开发同款
Akira372026年07月02日
4阅读

技术信息

语言技术
Rust
系统类型
WindowsMacOS
行业分类
项目任务
开源地址
https://github.com/hyperplasma/hyfetcher
授权协议
MIT许可

功能介绍

HyFetcher 是一个基于 Rust 编写的高效离线网页/文章批量下载与索引生成工具。核心功能模块包括:①CSV 数据解析模块——从树形目录结构中递归扫描 CSV 文件,解析出待下载的网页 URL 与标题;②并发下载模块——基于 tokio 异步运行时与 FuturesUnordered 实现可配置并发数的高并发网页抓取;③图片本地化模块——解析 HTML 中的 img 标签,自动下载图片资源到本地并替换为相对路径引用;④视频本地化模块——支持普通 video/source 标签视频下载,并针对 Bilibili 等平台集成 yt-dlp 进行视频提取;⑤索引生成模块——根据分类层级自动构建树形目录结构,生成带响应式样式的可浏览 index.html 索引页;⑥外部工具管理模块——自动检测并跨平台安装 yt-dlp 等依赖工具。项目支持 Windows、macOS、Linux 三平台,通过 GitHub Actions 实现自动化构建与发布。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论