Java Oozie spark submit，`--driver cores`参数不工作

我正在从oozie执行spark提交，

——驱动程序核心

选项不起作用。例如，如果我提供了

--driver cores 4

，则纱线仍然会为driver创建1个vCore容器

oozie中的Spark选项：

<master>yarn-cluster</master>
<spark-opts>--queue testQueue --num-executors 4 --driver-cores 4 
                ...
            </spark-opts>

纱线簇
--queue testQueue--num executors 4--driver cores 4
...

我也尝试过其他配置键，比如

--conf spark.driver.cores=4

和

--conf spark.warn.am.cores=4

，即使这些都不起作用

---

任何指针都会有帮助。谢谢

如果您指定了此选项，您的程序将使用4个内核。这是毫无疑问的。
你看错了

因此，在资源管理器页面中，如果您处于默认设置

DefaultResourceCalculator

，它只计算内存使用量。
对于vCore使用，它总是显示1，因为它不计算它

如果您可以将资源管理器类更改为

DominantResourceCalculator

，那么它将显示实际的核心使用情况

只需将此属性添加到warn-site.xml，然后重新启动warn

yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

---

您还可以通过Spark History server UI验证这一理论

在更改任何内容之前，请提交spark作业，在spark UI中查找该作业。

---

转到该作业的执行器部分，您将看到spark使用的所有执行器及其配置

如果您已指定此项，您的程序将使用4个内核。这是毫无疑问的。
你看错了

因此，在资源管理器页面中，如果您处于默认设置

DefaultResourceCalculator

，它只计算内存使用量。
对于vCore使用，它总是显示1，因为它不计算它

如果您可以将资源管理器类更改为

DominantResourceCalculator

，那么它将显示实际的核心使用情况

只需将此属性添加到warn-site.xml，然后重新启动warn

yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

---

您还可以通过Spark History server UI验证这一理论

在更改任何内容之前，请提交spark作业，在spark UI中查找该作业。

---

---

转到该作业的Executors部分，您将看到spark使用的所有executor及其配置

您如何检查分配的vCore？检查此项时，您的应用程序是否空闲了一段时间？动态分配是否可能控制vcores？我正在从资源管理器控制台进行检查，其中显示了每个正在运行的应用程序的容器。您的应用程序是否处于空闲状态？动态分配可能正在删除已分配的资源，对吗？群集中未启用动态分配。此外，驱动程序未空闲，AFAIK动态分配仅适用于执行器？已尝试显式禁用spark.DynamicLocation.enabled，没有运气您正在检查分配的vCores吗？检查此项时，您的应用程序是否空闲了一段时间？动态分配是否可能控制vcores？我正在从资源管理器控制台进行检查，其中显示了每个正在运行的应用程序的容器。您的应用程序是否处于空闲状态？动态分配可能正在删除已分配的资源，对吗？群集中未启用动态分配。此外，驱动程序未处于空闲状态，AFAIK动态分配仅适用于执行器？已尝试显式禁用spark.DynamicLocation.enabled，但没有为执行器正确显示的运气。只有驱动程序没有显示coresAnyway在更改Thread中的属性后，您可以检查它。尝试过，没有运气。您可以共享您的Thread-site.xml，我主要关注队列和应用程序主配置。

vCore

它为执行者正确显示。只有驱动程序没有显示coresAnyway，您可以在更改Thread中的属性后进行检查。尝试过，运气不佳。您能否共享您的Thread-site.xml，我主要关注队列和应用程序主配置。