Hadoop 为什么mapreduce尝试因“调度程序抢占容器”而被终止?

Hadoop 为什么mapreduce尝试因“调度程序抢占容器”而被终止?,hadoop,apache-pig,Hadoop,Apache Pig,我刚刚注意到,Hadoop上的许多Pig作业由于以下原因被终止:调度程序抢占了容器 有人能解释一下是什么原因造成的,如果我应该并且能够做些什么吗 谢谢 如果您的Hadoop集群正被许多业务部门使用。然后管理员为他们决定队列,每个队列都有其优先级,而优先级也由管理员决定。如果在调度程序级别启用了抢占,则高优先级应用程序不必等待,因为低优先级应用程序占用了可用容量。因此,在这种情况下,如果集群中没有可用的资源,则较低优先级的任务必须释放资源,以便运行优先级较高的应用程序。如果您的Hadoop集群正被

我刚刚注意到,Hadoop上的许多Pig作业由于以下原因被终止:调度程序抢占了容器

有人能解释一下是什么原因造成的,如果我应该并且能够做些什么吗


谢谢

如果您的Hadoop集群正被许多业务部门使用。然后管理员为他们决定队列,每个队列都有其优先级,而优先级也由管理员决定。如果在调度程序级别启用了抢占,则高优先级应用程序不必等待,因为低优先级应用程序占用了可用容量。因此,在这种情况下,如果集群中没有可用的资源,则较低优先级的任务必须释放资源,以便运行优先级较高的应用程序。

如果您的Hadoop集群正被许多业务部门使用。然后管理员为他们决定队列,每个队列都有其优先级,而优先级也由管理员决定。如果在调度程序级别启用了抢占,则高优先级应用程序不必等待,因为低优先级应用程序占用了可用容量。因此,在这种情况下,较低优先级的任务必须释放资源,如果在集群中不可用,则允许运行较高优先级的应用程序。

如果启用了公平调度程序和许多不同的队列,则较高优先级的应用程序可以以抢占方式终止作业

Hortonworks有一个非常好的解释,有更多的细节


你应该对此做些什么吗?取决于您的应用程序是否在其SLA范围内且性能是否符合预期。一般的良好做法是检查作业优先级及其分配给的队列。

如果启用了公平调度程序和许多不同的队列,则优先级较高的应用程序可以以抢占式方式终止作业

Hortonworks有一个非常好的解释,有更多的细节

你应该对此做些什么吗?取决于您的应用程序是否在其SLA范围内且性能是否符合预期。一般的良好做法是检查您的工作优先级及其分配给的队列