Scala Spark独立群集

我有一个spark独立集群。集群由2个工作节点和1个主节点组成。当我在主节点上运行程序时，作业只分配给一个工人。另一个工人不能做某事。

工人出现在图片上。为了运行我的代码，我使用了以下命令：

spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt  

---

从上图中，我们注意到在工作节点中有一个核心系统

您可以使用下面的命令

spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt

---

希望这有帮助

您是否可以尝试使用部署模式客户端一次，或者忽略该参数，因为如果您的部署模式是群集，您的一个工作进程运行驱动程序任务，另一个工作进程将运行rdd任务，这就是为什么您的一个工作进程只执行任务，而当您运行shell时，默认情况下使用客户端模式，并同时使用这两个工作进程来运行任务。只需在下面的命令中尝试一次就可以部署应用程序，您还可以共享一次应用程序的代码片段

spark-submit --class Main.Main --master spark://172.19.0.2:7077  Main.jar ReadText.txt   

---

请提供您正在使用的代码片段/应用程序逻辑。实际上，当我运行sparkshell命令时，作业将分发给工作人员。但是，当我运行一个jar文件时，问题出现了。您是否可以共享仅显示一个在Spark UI上运行的执行器的屏幕截图以及您正在使用的代码？我重新启动机器。现在一切都好了