Apache spark spark jobserver未在群集中的多个节点上启动

我们已经安装了一个spark jobserver，它是使用server_start.sh在spark群集上启动的，但是无论我们如何操作，都无法在多个Worker上启动它。我们可以设法让它使用多个内核和更多内存运行，但不能在多个节点上运行

我们尝试过的命令如下：

./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g

前两个命令启动并显示一个工人使用一个内核和1GB，而第三个命令显示一个工人使用4个内核和7g。第四个命令显示要使用的6个内核，但状态为已提交

通过使用以下命令启动spark shell，我们已经验证了它确实可以在多个Worker上启动和应用，该命令显示为运行的驱动程序，其中包含2个Worker和总共6个Core

./spark-shell --master spark://IP:PORT --total-executor cores 6

---

非常感谢您的帮助。

Spark jobserver实际上是Spark驱动程序，而不是应用程序本身。我不认为您可以在工作人员之间分配负载。

Spark jobserver实际上是Spark驱动程序，而不是应用程序本身。我不认为你能在工人之间分配工作量