Apache spark 任务节点未使用AWS EMR管理的缩放进行缩放

Apache spark 任务节点未使用AWS EMR管理的缩放进行缩放,apache-spark,amazon-emr,aws-auto-scaling,Apache Spark,Amazon Emr,Aws Auto Scaling,我已经使用Spark streaming的一个步骤设置了一个EMR群集,并且配置了EMR管理的缩放功能 我用spark submit在master上提交临时spark作业。提交作业时集群会扩大,但在临时作业完成后集群不会缩小,除非spark streaming作业被终止。这意味着,在集群空闲(spark上没有运行的作业)之前,集群不会缩小 如何使用在同一群集上运行的spark streaming和EMR管理的扩展来缩小群集?我认为您对管理的扩展没有太多控制权。根据定义,你的缩减不应该是激进的。但

我已经使用Spark streaming的一个步骤设置了一个EMR群集,并且配置了EMR管理的缩放功能

我用spark submit在master上提交临时spark作业。提交作业时集群会扩大,但在临时作业完成后集群不会缩小,除非spark streaming作业被终止。这意味着,在集群空闲(spark上没有运行的作业)之前,集群不会缩小


如何使用在同一群集上运行的spark streaming和EMR管理的扩展来缩小群集?

我认为您对管理的扩展没有太多控制权。根据定义,你的缩减不应该是激进的。但这对我来说仍然是个问题。