Apache spark 正在计划程序池上提交Spark作业

我正在群集模式下运行spark流媒体作业，我创建了一个内存为200GB（CDH）的池。我想在那个池子上运行我的spark流媒体工作，我试着设置

sc.setLocalProperty("spark.scheduler.pool", "pool")

在代码中，但它不起作用，我也尝试了

---

，每当我运行作业时，它都会进入默认池。可能的问题是什么？提交作业时是否可以添加任何配置？

在“纱线”中，我们可以添加

--conf spark.warn.queue=“que_name”

---

发送至

spark submit

命令。然后它将仅使用该特定队列及其资源

我在Spark 2.4中遇到了同样的问题。在我的例子中，通过删除spark配置中的默认“spark.scheduler.pool”选项，问题得以解决

我追踪到了Spark中的一个bug-。问题是，如果在基本配置中设置配置属性“spark.scheduler.pool”，则无法使用setLocalProperty覆盖它。将其从基本配置中删除可以使其正常工作。有关更多详细信息，请参见错误描述