Java 设置Spark中节点数的限制

我的spark集群中有10个工作节点（机器）

---

我只想在10个工作节点中的4个上运行我的one spark作业。我有没有办法将其设置为仅在4个工作节点上运行我的程序？

我认为您可以将

--num executors 4

传递到

spark submit

；如何运行作业？@ElliottFrisch，执行器的数量不是工作节点，而是工作节点中JVM进程的数量。确定。抱歉，我现在没有自己的群集，但为什么要这样做？您使用的是开源spark还是cloudera？我这样问是因为可能不是开源的。@ElliottFrisch，有些作业我只想在数量有限的工作节点上运行。据我所知，ter只是限制执行者数量而不是节点数量的选项。我想这是设计的一部分。我认为您可以将

--num executors 4

传递到

spark submit

；如何运行作业？@ElliottFrisch，执行器的数量不是工作节点，而是工作节点中JVM进程的数量。确定。抱歉，我现在没有自己的群集，但为什么要这样做？您使用的是开源spark还是cloudera？我这样问是因为可能不是开源的。@ElliottFrisch，有些作业我只想在数量有限的工作节点上运行。据我所知，ter只是限制执行者数量而不是节点数量的选项。我想这是设计的一部分。