Amazon web services boto3是否会导致EMRFS元数据不一致

Amazon web services boto3是否会导致EMRFS元数据不一致,amazon-web-services,amazon-s3,boto3,amazon-emr,Amazon Web Services,Amazon S3,Boto3,Amazon Emr,在启用了一致视图的EMR集群中运行python脚本时,我使用的是boto3 SDK。我试图调试一个异常,在null上调用ConsistencyCheckerS3FileSystem.mkdirs时出现错误消息exception 我的问题是boto3是否会导致EMRFS元数据不一致?从EMR执行时,我们是否应该始终在boto3上使用hadoop/hdfs命令来复制/删除s3文件/文件夹?是boto3将导致不一致。即使是AWS CLI 您需要在每次复制/删除操作后手动删除元数据 使用HDFS命令,e

在启用了一致视图的EMR集群中运行python脚本时,我使用的是boto3 SDK。我试图调试一个异常,在null上调用ConsistencyCheckerS3FileSystem.mkdirs时出现错误消息
exception


我的问题是boto3是否会导致EMRFS元数据不一致?从EMR执行时,我们是否应该始终在boto3上使用hadoop/hdfs命令来复制/删除s3文件/文件夹?

boto3将导致不一致。即使是AWS CLI

您需要在每次复制/删除操作后手动删除元数据

使用HDFS命令,emrfs将同步