Java 未找到文件-Spark独立群集

我有两台机器：ubuntu1和ubuntu2

在ubuntu1中，我在Spark Standalone集群中启动了主节点，而ubuntu2是从一个工作节点（从节点）启动的

我正在尝试执行github上提供的示例

当我提交申请时，工作人员会发送一条错误消息

java.io.FileNotFoundException：文件文件：/home/ubuntu1/demo/test.txt不存在

我的命令行是

./spark-submit --master spark://ubuntu1-VirtualBox:7077 --deploy-mode cluster --clas br.com.wordCount.App -v --name"Word Count" /home/ubuntu1/demo/wordCount.jar /home/ubuntu1/demo/test.txt

文件test.txt只需保留在一台机器中

注意：主机和工人在不同的机器中

---

谢谢

您应该通过转到文件夹并键入以下内容，将文件放入hdfs：

hdfs dfs -put <file>

hdfs-dfs-put

否则，每个节点必须通过在每台计算机上存在相同的路径文件夹来访问它

---

不要忘了将file://更改为hdfs://之后，加载JSON文件时，我遇到了同样的问题。默认情况下，我识别windows将文件格式存储为Textfile，而不管名称如何。确定文件格式，以便轻松加载

示例：假设您将文件保存为

test.JSON

。但默认情况下，windows会向其添加

.txt

检查并再次尝试运行。 我希望你的问题能通过这个想法得到解决

---

谢谢。

您的文件可能在hdfs上。@ElliottFrisch你好吗？那么，我不能这样发送我的文本文档吗？当a将此命令置于文件名之前时，抛出错误：路径不存在：file:/home/ubunt1/spark2.2/work/driver-201708-0006/hdfs。谢谢您的帮助。是的，请在开始时将file:/：hdfs:/home/ubuntu1/demo/test.txt替换为hdfs:/：hdfs:/home抱歉，但仍然是相同的错误：（：file:/home/ubunt1/spark2.2/work/driver-201708-0006/hdfs您是否更改了您编写的程序中的地址？您是否首先将文件放在hdfs上？我将您的建议放在路径文件之前的命令行中，我将：hdfs dfs-put hdfs:/home/ubuntu1/demo/test.txt。