Amazon web services 访问AWS并行集群上的s3存储桶

我需要访问AWS ParallelCluster节点上的S3 bucket。我确实在ParallelCluster文档中探索了

s3\u read\u write\u资源

选项。但是，我们如何进入这个桶还不清楚。例如，它将安装在节点上，还是用户在默认情况下能够访问它。我确实测试了后者，尝试访问我使用配置文件中的

s3\u read\u write\u resource

选项声明的bucket，但无法访问它（

aws s3 ls s3://

）

我确实讨论过github的问题，谈到使用s3fs安装S3存储桶。根据我的经验，使用s3fs访问对象非常慢

所以我的问题是,

---

当使用AWS ParallelCluster配置文件中的

S3\u read\u write\u资源

选项时，我们如何访问S3存储桶

这些参数在ParallelCluster中用于包括对为群集实例创建的实例角色的S3权限。它们被映射到Cloudformation模板S3ReadResource和S3ReadWriteResource中。后来在Cloudformation模板中使用。例如，和。没有访问S3对象的特殊方式

要在一个集群实例上访问S3，我们需要使用aws cli或任何SDK。凭据将自动从using instance元数据服务获取

请注意，ParallelCluster不授予列出S3对象的权限

从S3_read_资源中定义的S3 bucket中检索现有对象，以及将对象检索和写入S3_read_write_资源中定义的S3 bucket应该可以工作

但是，“aws s3 ls”或“aws s3://存储桶名称”需要额外的权限。看

我不会使用s3fs，因为它不受AWS支持，据报道速度很慢（正如您已经注意到的），而且

---

你可能想检查一下。它可以为Lustre文件系统创建一个附加FSx。它可以从S3本地导入/导出文件。我们只需要在此部分设置导入路径和导出路径。

这些参数在ParallelCluster中用于包括为群集实例创建的实例角色的S3权限。它们被映射到Cloudformation模板S3ReadResource和S3ReadWriteResource中。后来在Cloudformation模板中使用。例如，和。没有访问S3对象的特殊方式

要在一个集群实例上访问S3，我们需要使用aws cli或任何SDK。凭据将自动从using instance元数据服务获取

请注意，ParallelCluster不授予列出S3对象的权限

从S3_read_资源中定义的S3 bucket中检索现有对象，以及将对象检索和写入S3_read_write_资源中定义的S3 bucket应该可以工作

但是，“aws s3 ls”或“aws s3://存储桶名称”需要额外的权限。看

我不会使用s3fs，因为它不受AWS支持，据报道速度很慢（正如您已经注意到的），而且

你可能想检查一下。它可以为Lustre文件系统创建一个附加FSx。它可以从S3本地导入/导出文件。我们只需要在这个部分设置导入路径和导出路径