Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/wix/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 从Spark的角度来看,纱线调度程序真的不同吗?_Apache Spark_Yarn_Scheduling - Fatal编程技术网

Apache spark 从Spark的角度来看,纱线调度程序真的不同吗?

Apache spark 从Spark的角度来看,纱线调度程序真的不同吗?,apache-spark,yarn,scheduling,Apache Spark,Yarn,Scheduling,纱线有两个著名的调度程序,公平调度程序和容量调度程序。粗略地说,容量将集群划分为预定义的队列,从而保证每个队列的资源,Fair scheduler还将集群划分为队列,并在队列之间和队列内部均匀地共享资源 现在,进一步了解每个调度程序的详细信息,我们可以看到: 它们中的每一个都允许集群的不均匀划分(公平的权重和资源分数以及容量百分比) 它们都支持FIFO和公平队列内应用程序调度 两者都支持基于内存和DRF的资源使用率计算 我猜他们两个都“成长”到了这种情况,每个人都增加了功能。但是到今天为止,他们

纱线有两个著名的调度程序,
公平调度程序
容量调度程序
。粗略地说,容量将集群划分为预定义的队列,从而保证每个队列的资源,Fair scheduler还将集群划分为队列,并在队列之间和队列内部均匀地共享资源

现在,进一步了解每个调度程序的详细信息,我们可以看到:

  • 它们中的每一个都允许集群的不均匀划分(公平的权重和资源分数以及容量百分比)
  • 它们都支持FIFO和公平队列内应用程序调度
  • 两者都支持基于内存和DRF的资源使用率计算
  • 我猜他们两个都“成长”到了这种情况,每个人都增加了功能。但是到今天为止,他们之间还有什么区别吗

    另外,我是在使用纱线管理火花的背景下提出这个问题的


    编辑:在建议复制后,我将解释为什么,尽管类似,但它不能完全回答问题。首先,答案不准确,例如,应用程序分配给队列,而不是作业。最具信息量的答案是一个对照表,该表实际上取自,它是正确的,但可以追溯到2014-2016年,在考虑开发进度的同时,使其变得无关紧要

    节点标签是主要的标签。如果您想针对一组具有附加功能(GPU、软件许可证、高端硬件…)的计算机运行特定作业,那么现在需要使用容量调度器。Fair Scheduler稍后可能会收到此消息,但很快它仍在进行中

    相关的JIRA包括:


    就历史而言,容量调度器起源于雅虎!当时是由HortonWorks维护的雅虎!剥离出霍顿作品。Cloudera投资了Fair Scheduler。我不确定HortonWorks和Cloudera合并后的未来是什么。

    可能重复@user10465355 thx。要找到答案,请参阅我的编辑,并解释当前问题的有效性。我已经使用fair scheduler针对特定节点安排了任务。这需要一些捏造,因为实现被破坏了,但是在一个定制的应用程序中,它工作了,你可能可以修补Spark来做同样的事情。