Amazon web services Amazon EMR-如何限制Spark任务执行器仅在任务节点中启动,而不在核心节点中启动

Amazon web services Amazon EMR-如何限制Spark任务执行器仅在任务节点中启动,而不在核心节点中启动,amazon-web-services,apache-spark,emr,Amazon Web Services,Apache Spark,Emr,我们在oozie工作流中使用Amazon EMR,其中包含Spark作业。在我们的集群中,我们有1个主节点、2个核心节点,并使用第三方工具将任务节点作为spot实例 根据内存使用情况为任务节点设置自动缩放。我们已配置为仅在核心节点中启动应用程序主节点,因为任务节点是随时都会停止的点实例 现在的问题是,有时运行的作业会完全占用核心节点内存(AM+任务执行器),这使得其他作业处于可接受状态,等待核心节点释放内存以启动AM 我想知道是否可以限制在核心节点中只启动AM,而在任务节点中只启动任务执行器。这

我们在oozie工作流中使用Amazon EMR,其中包含Spark作业。在我们的集群中,我们有1个主节点、2个核心节点,并使用第三方工具将任务节点作为spot实例

根据内存使用情况为任务节点设置自动缩放。我们已配置为仅在核心节点中启动应用程序主节点,因为任务节点是随时都会停止的点实例

现在的问题是,有时运行的作业会完全占用核心节点内存(AM+任务执行器),这使得其他作业处于可接受状态,等待核心节点释放内存以启动AM


我想知道是否可以限制在核心节点中只启动AM,而在任务节点中只启动任务执行器。这样我们就可以并行运行多个作业。

也有同样的问题。你找到解决办法了吗?