本项目是用于XXX ai项目上传大模型数据所用。大模型数据通常有几G-几十G，需要支持分片上传，断点续传，文件杀毒扫描等功能。文件上传使用minio，上传到minio后，自动杀毒扫描，扫描通过后移动到从minio移动到安全区nfs，供后续ai训练使用
点击空白处退出提示
文件传输助手产品系统
我要开发同款技术信息
作品详情
行业场景
功能介绍
1.文件/文件夹分片上传到minio，支持短线续传
2.调用杀毒软件clamav扫描文件
3.文件扫描通过后，可以在minio，安全区之间来回移动
4.文件重命名
5.文件删除
6.文件/文件夹下载
项目实现
我负责整个后端功能实现。
整个项目最复杂的地方在于上传文件特别大，特别多，需要使用异步处理+队列机制。同时处理的文件任务不能超过3个，否则会引发宕机等严重后果
示例图片
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
评论