Amazon web services boto3是否会导致EMRFS元数据不一致
在启用了一致视图的EMR集群中运行python脚本时,我使用的是boto3 SDK。我试图调试一个异常,在null上调用ConsistencyCheckerS3FileSystem.mkdirs时出现错误消息Amazon web services boto3是否会导致EMRFS元数据不一致,amazon-web-services,amazon-s3,boto3,amazon-emr,Amazon Web Services,Amazon S3,Boto3,Amazon Emr,在启用了一致视图的EMR集群中运行python脚本时,我使用的是boto3 SDK。我试图调试一个异常,在null上调用ConsistencyCheckerS3FileSystem.mkdirs时出现错误消息exception 我的问题是boto3是否会导致EMRFS元数据不一致?从EMR执行时,我们是否应该始终在boto3上使用hadoop/hdfs命令来复制/删除s3文件/文件夹?是boto3将导致不一致。即使是AWS CLI 您需要在每次复制/删除操作后手动删除元数据 使用HDFS命令,e
exception
我的问题是boto3是否会导致EMRFS元数据不一致?从EMR执行时,我们是否应该始终在boto3上使用hadoop/hdfs命令来复制/删除s3文件/文件夹?是boto3将导致不一致。即使是AWS CLI
您需要在每次复制/删除操作后手动删除元数据
使用HDFS命令,emrfs将同步