Apache spark 从Spark的角度来看,纱线调度程序真的不同吗?
纱线有两个著名的调度程序,Apache spark 从Spark的角度来看,纱线调度程序真的不同吗?,apache-spark,yarn,scheduling,Apache Spark,Yarn,Scheduling,纱线有两个著名的调度程序,公平调度程序和容量调度程序。粗略地说,容量将集群划分为预定义的队列,从而保证每个队列的资源,Fair scheduler还将集群划分为队列,并在队列之间和队列内部均匀地共享资源 现在,进一步了解每个调度程序的详细信息,我们可以看到: 它们中的每一个都允许集群的不均匀划分(公平的权重和资源分数以及容量百分比) 它们都支持FIFO和公平队列内应用程序调度 两者都支持基于内存和DRF的资源使用率计算 我猜他们两个都“成长”到了这种情况,每个人都增加了功能。但是到今天为止,他们
公平调度程序
和容量调度程序
。粗略地说,容量将集群划分为预定义的队列,从而保证每个队列的资源,Fair scheduler还将集群划分为队列,并在队列之间和队列内部均匀地共享资源
现在,进一步了解每个调度程序的详细信息,我们可以看到:
编辑:在建议复制后,我将解释为什么,尽管类似,但它不能完全回答问题。首先,答案不准确,例如,应用程序分配给队列,而不是作业。最具信息量的答案是一个对照表,该表实际上取自,它是正确的,但可以追溯到2014-2016年,在考虑开发进度的同时,使其变得无关紧要 节点标签是主要的标签。如果您想针对一组具有附加功能(GPU、软件许可证、高端硬件…)的计算机运行特定作业,那么现在需要使用容量调度器。Fair Scheduler稍后可能会收到此消息,但很快它仍在进行中 相关的JIRA包括:
就历史而言,容量调度器起源于雅虎!当时是由HortonWorks维护的雅虎!剥离出霍顿作品。Cloudera投资了Fair Scheduler。我不确定HortonWorks和Cloudera合并后的未来是什么。可能重复@user10465355 thx。要找到答案,请参阅我的编辑,并解释当前问题的有效性。我已经使用fair scheduler针对特定节点安排了任务。这需要一些捏造,因为实现被破坏了,但是在一个定制的应用程序中,它工作了,你可能可以修补Spark来做同样的事情。