Apache spark 火花多作业错误

我正在尝试在spark上提交多份申请

第一个应用程序完成后，Spark将所有工作节点分配给驱动程序。因此，没有内核可供执行

我的环境：2个工作节点，每个节点有1个内核和2GB RAM，驱动程序正在节点上运行

Spark submit命令：

/Spark submit--class Main--masterspark://ip:6066 --部署模式群集/jarPath

所以，如果我提交3个作业，在第一个作业完成后，第二个和第三个作业将为各自的驱动程序获得一个内核，并且没有内核可供执行

---

请给出解决此问题的方法。

尝试删除spark的旧实例：

/bin/spark class org.apache.spark.deploy.Client kill

---

您可以通过http://:8080上的独立主web UI找到驱动程序ID。

尝试删除spark的旧实例：

/bin/spark class org.apache.spark.deploy.Client kill

---

您可以通过http://:8080上的独立主web UI找到驱动程序ID。

您在哪种模式下运行？spark本地/独立/纱线客户端/纱线集群？请提供spark submit命令驱动程序是否在这两个工作节点之一上运行？/spark submit--class Main--masterspark://ip:6066 --部署模式群集/jarPathyes驱动程序正在其中一个工作站上运行您使用的是哪个spark版本？您在哪个模式下运行？spark本地/独立/纱线客户端/纱线集群？请提供spark submit命令驱动程序是否在这两个工作节点之一上运行？/spark submit--class Main--masterspark://ip:6066 --部署模式cluster/jarPathyes驱动程序正在其中一个Workers上运行您使用的是哪个spark版本？我只想以这些方式执行这些操作，因为其中一个的输出是另一个的输入。所以驱动程序无法为任何应用程序终止。如何将驱动程序中的数据提供给其他spark作业？您正在使用“collect（）”吗？这似乎不是spark开发的好做法。我正在将数据保存到HDFS。如果您将数据保存到HDFS，为什么不能杀死驱动程序？我已经为这些任务创建了一个自动化。所以我不是在提交代码，自动化代码是在将这些应用程序提交给spark。我只想在一个应用程序的输出被输入到另一个应用程序时以这种方式执行这些应用程序。因此，任何应用程序都不能杀死驱动程序。如何将驱动程序的数据提供给另一个spark作业？您正在使用“collect（）”吗？这似乎不是spark开发的好做法。我正在将数据保存到HDFS。如果您将数据保存到HDFS，为什么不能杀死驱动程序？我已经为这些任务创建了一个自动化。所以我不是在提交代码，自动化代码是在向spark提交这些应用程序。

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>