Hadoop 纱线和MR2有什么区别吗?

Hadoop 纱线和MR2有什么区别吗?,hadoop,mapreduce,yarn,hadoop2,Hadoop,Mapreduce,Yarn,Hadoop2,我有点混淆了纱线和MR2。它们是一样的吗?我在一些文档中看到了warn作为运行分布式应用程序的平台,而MapReduce就是这样的分布式应用程序,这是什么意思?这是程序员构建的MapReduce应用程序(例如:wordcount程序)? 我又看到了“编写自己的纱线应用程序”,这是什么意思?字数计算程序属于哪一类,是warn应用程序还是MR2应用程序 请更正这个问题,如果它不在stackoverflow标准中,我试图表达我所有的怀疑。首先在HADOOP 2中引入了Thread。在HADOOP 1中

我有点混淆了
纱线
MR2
。它们是一样的吗?我在一些文档中看到了
warn
作为运行分布式应用程序的平台,而MapReduce就是这样的分布式应用程序,这是什么意思?这是程序员构建的
MapReduce
应用程序(例如:
wordcount
程序)? 我又看到了“编写自己的<代码>纱线<代码>应用程序”,这是什么意思?字数计算程序属于哪一类,是
warn
应用程序还是
MR2
应用程序


请更正这个问题,如果它不在stackoverflow标准中,我试图表达我所有的怀疑。

首先在HADOOP 2中引入了Thread。在HADOOP 1中,一个名称节点管理HADOOP集群的整个名称空间。随着Thread(另一个资源管理器)的引入集群资源管理由纱线负责

您可以假设纱线运行在HDFS之上,并在纱线上运行不同的数据处理组件,如mapreduce和Others。 在Hadoop1中,用户可以选择使用Java、Python或其他脚本语言编写MapReduce程序,这些语言使用流媒体,或者使用Pig(一种数据转换语言)。无论使用哪种方法,它们基本上都依赖于MapReduce处理模型来运行

除MapReduce外,纱线还支持多种加工模型。其中一个最重要的好处是,我们不再局限于使用通常I/O密集、高延迟的MapReduce框架

现在你的问题是“编写自己的纱线应用程序”,这是什么意思


现在,我们可以编写任何分布式应用程序。MR2是负责运行MapReduce框架的分布式应用程序之一。因此单词计数程序属于负责运行此MapReduce frmework的MR2应用程序。

首先在HADOOP 2中引入。在HADOOP 1中,单一名称节点管理Hadoop集群的整个名称空间。随着Thread(另一个资源管理器)的引入,集群资源管理由Thread负责

您可以假设纱线运行在HDFS之上,并在纱线上运行不同的数据处理组件,如mapreduce和Others。 在Hadoop1中,用户可以选择使用Java、Python或其他脚本语言编写MapReduce程序,这些语言使用流媒体,或者使用Pig(一种数据转换语言)。无论使用哪种方法,它们基本上都依赖于MapReduce处理模型来运行

除MapReduce外,纱线还支持多种加工模型。其中一个最重要的好处是,我们不再局限于使用通常I/O密集、高延迟的MapReduce框架

现在你的问题是“编写自己的纱线应用程序”,这是什么意思


现在,我们可以编写任何分布式应用程序。MR2是负责运行MapReduce框架的分布式应用程序之一。因此,字数计算程序属于负责运行此MapReduce frmework的MR2应用程序。

Thread
MR2
相关,但不相同

MapReduce
是一种计算方法,在Hadoop世界中,
MapReduce
也是Hadoop 1.0的同义词;在Hadoop1.0中,
MapReduce
为运行“MapReduce”(1.0)应用程序提供了资源管理和执行框架

在Hadoop 2.0中,资源管理和执行框架被拆分为两个独立的实体,
warn
(另一个资源谈判者)是用于集群计算资源的通用资源管理系统,
MapReduce 2.0
(缩写为
MR2
)是执行引擎

  • MR2
    是一种
    纱线
    应用
  • 您可以编写一个基于“MapReduce”(2.0)的应用程序,该应用程序将在
    纱线上运行
  • 如果您在Hadoop 2.0集群上,并使用类似于
    Pig
    Hive
    的默认执行引擎
    MR2
    ,它们将作为
    warn
    上的
    MR2
    应用程序运行

Hadoop 2.0中这种分离的部分原因是允许除MR2之外的其他执行引擎;今天,这还包括Apache
Tez
和Apache
Spark
,它们可以在
Thread
上运行,Thread
MR2
是相关的,但不是相同的

MapReduce
是一种计算方法,在Hadoop世界中,
MapReduce
也是Hadoop 1.0的同义词;在Hadoop1.0中,
MapReduce
为运行“MapReduce”(1.0)应用程序提供了资源管理和执行框架

在Hadoop 2.0中,资源管理和执行框架被拆分为两个独立的实体,
warn
(另一个资源谈判者)是用于集群计算资源的通用资源管理系统,
MapReduce 2.0
(缩写为
MR2
)是执行引擎

  • MR2
    是一种
    纱线
    应用
  • 您可以编写一个基于“MapReduce”(2.0)的应用程序,该应用程序将在
    纱线上运行
  • 如果您在Hadoop 2.0集群上,并使用类似于
    Pig
    Hive
    的默认执行引擎
    MR2
    ,它们将作为
    warn
    上的
    MR2
    应用程序运行
Hadoop 2.0中这种分离的部分原因是允许除MR2之外的其他执行引擎;今天,这还包括Apache
Tez
和Apache
Spark
,它们可以在
Thread
上运行