Apache spark 纱线调度程序:超时后拒绝应用程序

Apache spark 纱线调度程序:超时后拒绝应用程序,apache-spark,yarn,scheduler,Apache Spark,Yarn,Scheduler,我有一个集群,其中有一个队列用于低优先级作业。这些作业可以在执行前等待数小时,这无关紧要。我唯一的问题是,我的应用程序在timeout命令下运行,以终止任何可疑的长时间运行的作业。我最近添加了一个新作业,它占用了队列的全部容量并运行了几个小时。我希望的行为是,如果没有能力分配给新来的工作,那么在一段时间后,新来的工作会被拒绝。这样,他们就可以放弃,以后再回来。我不想修改自己的超时阈值——它们的语义应该是作业运行的时间,而不是整个调度+作业执行持续的时间 经过一些研究,我没有看到类似的情况。是否有

我有一个集群,其中有一个队列用于低优先级作业。这些作业可以在执行前等待数小时,这无关紧要。我唯一的问题是,我的应用程序在
timeout
命令下运行,以终止任何可疑的长时间运行的作业。我最近添加了一个新作业,它占用了队列的全部容量并运行了几个小时。我希望的行为是,如果没有能力分配给新来的工作,那么在一段时间后,新来的工作会被拒绝。这样,他们就可以放弃,以后再回来。我不想修改自己的超时阈值——它们的语义应该是作业运行的时间,而不是整个调度+作业执行持续的时间

经过一些研究,我没有看到类似的情况。是否有人知道现有的调度器允许这样做,或者使用现有的调度器(如默认的
CapacityScheduler
)以一种便宜的方式来实现这一点

PS:apache spark标签的理由是,它将使这个问题具有更广泛的可视性,并将有更多机会接触到回答者和未来的读者,他们正在寻找有关swark spark的问题