S3-plugi是一个高性能PyTorch数据集库，用于高效访问存储在S3存储桶中的数据集。它提供对任何大小数据集的流式数据访问，因此无需提供本地存储容量。该库旨在利用S3提供的高吞吐量以最小延迟访问对象。
用户可以根据需要灵活地使用地图样式或可迭代样式的数据集接口。该库本身与文件格式无关，并将S3中的对象呈现为二进制缓冲区（blob）。用户可以自由地对从S3接收到的数据应用任何额外的转换。安装您可以按照以下说明安装此软件包。先决条件此安装需要Pytho3.6（或Pytho3.7）用于配置S3访问的AWSCLIPytorch>=1.5（S3-plugi会安装最新的Torch）注意：要在Mac上运行，必须安装AWS_SDK_CPP通过Wheel安装S3-Plugi#TODOAddfialpublicwheelsawss3cp<S3URI>.pipistall<whlameawsio-0.0.1-cp...whl>配置在从S3存储中读取数据之前，需要提供存储区域参数：AWS_REGION：默认情况下，S3使用区域端点，区域由AWS_REGION控制。如果AWS_REGION未指定，则默认使用us-west-2要读取不可公开访问的存储中的对象，必须通过以下方法之一提供AWS凭证：通过awscofigure安装和配置awscli在本地系统上的AWS凭证配置文件中设置凭证，在Liux、macOS或Uix上位于：~/.aws/credetials设置AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY环境变量如果您在EC2实例上使用此库，请指定一个IAM角色，然后授予EC2实例对该角色的访问权限
点击空白处退出提示
评论