Java 即使输出目录不'；不存在

我正在运行以下命令行：

hadoop fs -rm -r /tmp/output

然后使用这个

main（）

---

知道如何修复它吗？

您删除了HDFS目录，但Spark尝试保存在本地文件系统中

要在hdfs中保存，请尝试以下操作：

rdd.saveAsTextFile("hdfs://<URL-hdfs>:<PORT-hdfs>/tmp/output");

另一种解决方案是从本地文件系统中删除

/tmp/output

---

致以最诚挚的问候

您删除了HDFS目录，但Spark尝试保存在本地文件系统中

要在hdfs中保存，请尝试以下操作：

rdd.saveAsTextFile("hdfs://<URL-hdfs>:<PORT-hdfs>/tmp/output");

另一种解决方案是从本地文件系统中删除

/tmp/output

---

致以最诚挚的问候

我在SparkConf中使用了以下命令，它工作得非常好

yourSparkConf.set（“spark.hadoop.validateOutSpecs”，“false”）

我在SparkConf中使用了以下命令，它工作得非常好

yourSparkConf.set（“spark.hadoop.validateOutSpecs”，“false”）

rdd.saveAsTextFile("hdfs://<URL-hdfs>:<PORT-hdfs>/tmp/output");

rdd.saveAsTextFile("hdfs://localhost:9000/tmp/output");