Hadoop distcp s3实例配置文件临时凭据
我正在AWS的hadoop集群上使用distcp。现在，我们正在切换到为集群节点使用IAM角色。我要尝试的一个解决方案是在我自己的org.apache.hadoop.fs.s3native.NativeS3FileSystem实现中添加一个类似于AWS InstanceProfileCredentialsProvider的智能文件系统，并使用IMDS。然而，是否有一个可用的解决方案使distcp使用临时安全凭据？查看NativeS3FileSystem和相关类，似乎我需要复制大部分代码，以便使用IMDS进行凭证查找Hadoop distcp s3实例配置文件临时凭据,hadoop,amazon-web-services,distcp,Hadoop,Amazon Web Services,Distcp,我正在AWS的hadoop集群上使用distcp。现在，我们正在切换到为集群节点使用IAM角色。我要尝试的一个解决方案是在我自己的org.apache.hadoop.fs.s3native.NativeS3FileSystem实现中添加一个类似于AWS InstanceProfileCredentialsProvider的智能文件系统，并使用IMDS。然而，是否有一个可用的解决方案使distcp使用临时安全凭据？查看NativeS3FileSystem和相关类，似乎我需要复制大部分代码，以便使用