Scala spark没有这样的文件或目录

这是我的密码：

s3.textFile("s3n://data/hadoop/data_log/req/20160618/*")
 .map(doMap)
 .saveAsTextFile()

spark 1.4.1，独立群集

有时（不一定，这很重要）它会抛出以下错误：

[2016-09-13 03:22:51,545: ERROR/Worker-1] err: java.io.FileNotFoundException:
No such file or directory
's3n://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz'

但是当我使用

aws s3 ls s3://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz

该文件已存在

---

如何避免此问题？

问题在于s3的一致性。 即使列出了该文件，它也不存在。尝试使用该文件，您将得到相同的异常

“写后读一致性仅对新对象的GET有效-在更改完全传播之前，列表可能不包含新对象。”

---

问题在于s3的一致性。 即使列出了该文件，它也不存在。尝试使用该文件，您将得到相同的异常

“写后读一致性仅对新对象的GET有效-在更改完全传播之前，列表可能不包含新对象。”

---

您应该启用更多日志记录以查找潜在问题。您应该启用更多日志记录以查找潜在问题。