用于Huggingface等平台模型权重/数据集文件的多机分布式下载。
我们的机房是每台机器单独限速，局域网内不限速。所以需要这个工具
点击空白处退出提示
Huggingface Distributed Downloader产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
1. 局域网内多机互联，快速查找在线主机
2. 自动分配huggingface repo中的大文件给各主机下载。下载完后汇总。
3. 自动进行文件校验和断点续传，并有TUI界面。
4. 支持自定义 HF_ENDPOINT 等参数
项目实现
1. 开发了TUI和Go语言后端（包括断点续传等高级功能）
2. 在大模型的帮助下调试错误和bug
3. 在我们团队内部进行验证，已长期使用
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论