Shell 从终端删除s3目录未反映在元数据中

Shell 从终端删除s3目录未反映在元数据中,shell,apache-spark,amazon-s3,Shell,Apache Spark,Amazon S3,我有一个spark程序,它的输出目录在s3中。当我使用aws s3 rm--recursive从终端删除上一个输出目录,以便下一次执行spark程序时,出现了一个错误:获取..com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException:元数据中存在但不是s3的目录。 当我在删除目录后使用emrfs sync命令时,问题不会出现。但此命令有时也会失败。您是否为元数据或普通S3添加了EMRFS

我有一个spark程序,它的输出目录在s3中。当我使用aws s3 rm--recursive从终端删除上一个输出目录,以便下一次执行spark程序时,出现了一个错误:获取..com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException:元数据中存在但不是s3的目录。
当我在删除目录后使用emrfs sync命令时,问题不会出现。但此命令有时也会失败。

您是否为元数据或普通S3添加了EMRFS