Apache spark 在qubole中写入apache spark时，java.io.FileNotFound异常_Apache Spark_Amazon S3_Eventual Consistency_Qubole

Apache spark 在qubole中写入apache spark时，java.io.FileNotFound异常

apache-spark amazon-s3

Apache spark 在qubole中写入apache spark时，java.io.FileNotFound异常,apache-spark,amazon-s3,eventual-consistency,qubole,Apache Spark,Amazon S3,Eventual Consistency,Qubole,我在ApacheSpark1.6.3中有一段代码运行在qubole上，它将数据写入s3上的多个表（拼花格式）。在写入表时，我不断得到java.io.FileNotFound异常我甚至在设置：spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter. 但这似乎并不能解决我的问题。此外，在检查日志时，我发现异常是由于缺少\u临时位置造成的。我不明白为什么即使在

我在ApacheSpark1.6.3中有一段代码运行在qubole上，它将数据写入s3上的多个表（拼花格式）。在写入表时，我不断得到

java.io.FileNotFound异常

我甚至在设置：

spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter.

但这似乎并不能解决我的问题。此外，在检查日志时，我发现异常是由于缺少

\u临时位置造成的。我不明白为什么即使在使用了DirectParquetOutputCommitter
之后，\u也会临时定位。这个异常一直在发生
请让我知道，如果有人知道一些事情来解决这个在库伯勒。谢谢。
S3不是一个一致的文件系统；它是一个最终一致的对象存储，其列表操作往往会短暂滞后于已创建的文件
任何假设书面数据在你看来是显而易见的“存在”的代码都可能在这个世界上崩溃。对不起