Apache spark Spark独立群集在客户端部署模式下无法正常工作

我创建了一个spark集群，它有三个节点，一个是主节点，另外两个是工作节点。我可以在Spark master UI上看到这两个工人

我用“WordCount”Scala程序创建了一个示例项目，非常简单，只需读取文件并计算单词出现的次数

我在主计算机上使用部署模式“客户端”进行了spark提交

./bin/spark submit——类字数——主机：7077——部署模式客户端

“字数”已成功执行但是，它只在master上执行，而且在Spark master UI上也看不到驱动程序或应用程序。 在我看来，它将在集群上执行（任务分配给workers节点上的执行者），应用程序可以在spark master UI上查看

我做了一些研究，甚至阅读了Spark核心源代码，但没有运气。

---

如有任何评论，我们将不胜感激

将spark submit部署模式更改为集群，默认为客户端，而客户端将仅在主节点中执行spark作业

./bin/spark-submit --class WordCount --master master-host:7077 --deploy-mode cluster

有关更多详细信息，请参阅spark官方文档

---

您是否也将您的主机用于工人？否则，您如何知道它正在主机上运行？另外，您运行spark submit的机器是哪台？最后：你确定你的

main

方法没有以冲突的方式创建spark上下文吗？谢谢你的回复，我正在运行。/bin/spark submit。。。在主节点上。我没有用师父当工人。我不确定你所说的“以冲突的方式创建spark上下文”是什么意思。我的意思是，你的应用程序代码中的spark上下文可能是通过将其指向

local

作为master来创建的……哦，明白你的意思了。我用spark://master-host:7077发送了conf。我原以为驱动程序可以分发rdd映射并减少到工作节点，但似乎没有。老实说，我不完全确定是否调用了worker，因为它没有显示在Spark master UI上。我知道了问题的原因，因为我的hdfs有一些问题，我在hdfs中的文件没有被很好地拾取。