tasktracker对应于hadoop中的映射器还是还原器?

tasktracker对应于hadoop中的映射器还是还原器?,hadoop,mapreduce,hadoop2,bigdata,Hadoop,Mapreduce,Hadoop2,Bigdata,我知道映射器总是执行成对的映射操作,而reducer总是执行成对的reduce操作。换句话说,映射器(reducer)和映射(reduce)操作之间的映射是一对多的。 现在我有一个问题,tasktracker和mapper之间的映射是一对一还是一对多?首先,我将向您解释什么是任务跟踪器: TaskTracker是群集中接受tasks-Map的节点, 减少和洗牌操作-从JobTracker开始 每个TaskTracker都配置了一组插槽,这些插槽指示它可以接受的任务数。当JobTracker试图在

我知道映射器总是执行成对的映射操作,而reducer总是执行成对的reduce操作。换句话说,映射器(reducer)和映射(reduce)操作之间的映射是一对多的。

现在我有一个问题,tasktracker和mapper之间的映射是一对一还是一对多?

首先,我将向您解释什么是任务跟踪器:

TaskTracker是群集中接受tasks-Map的节点, 减少和洗牌操作-从JobTracker开始

每个TaskTracker都配置了一组插槽,这些插槽指示它可以接受的任务数。当JobTracker试图在MapReduce操作中找到调度任务的位置时,它首先在承载包含数据的DataNode的同一台服务器上查找空插槽,如果没有,则在同一机架中的机器上查找空插槽

TaskTracker生成一个单独的JVM进程来完成实际工作;这是为了确保流程故障不会导致任务跟踪器停机。TaskTracker监视这些生成的进程,捕获输出和退出代码。当流程完成时,无论是否成功,跟踪程序都会通知JobTracker。TaskTracker还向JobTracker发送心跳消息,通常每隔几分钟发送一次,以使JobTracker确信它仍然活着。这些消息还通知JobTracker可用插槽的数量,以便JobTracker能够及时了解集群中可以委派工作的位置

是的,这就引出了一个问题,一个任务跟踪器使用作业跟踪器执行许多操作(实际作业,即映射减少任务),所以您的问题的答案是

一(工作跟踪器)对多(任务跟踪器)关系


首先,我将向您解释什么是任务跟踪器:

TaskTracker是群集中接受tasks-Map的节点, 减少和洗牌操作-从JobTracker开始

每个TaskTracker都配置了一组插槽,这些插槽指示它可以接受的任务数。当JobTracker试图在MapReduce操作中找到调度任务的位置时,它首先在承载包含数据的DataNode的同一台服务器上查找空插槽,如果没有,则在同一机架中的机器上查找空插槽

TaskTracker生成一个单独的JVM进程来完成实际工作;这是为了确保流程故障不会导致任务跟踪器停机。TaskTracker监视这些生成的进程,捕获输出和退出代码。当流程完成时,无论是否成功,跟踪程序都会通知JobTracker。TaskTracker还向JobTracker发送心跳消息,通常每隔几分钟发送一次,以使JobTracker确信它仍然活着。这些消息还通知JobTracker可用插槽的数量,以便JobTracker能够及时了解集群中可以委派工作的位置

是的,这就引出了一个问题,一个任务跟踪器使用作业跟踪器执行许多操作(实际作业,即映射减少任务),所以您的问题的答案是

一(工作跟踪器)对多(任务跟踪器)关系


最后一行不正确


更正是:集群中每个DataNode有一个任务跟踪器,集群中每个NameNode只有一个作业跟踪器,这是假设您在MRV1(非纱线)Hadoop集群(Hadoop 1.x)上。

最后一行不正确


更正是:集群中每个DataNode有一个任务跟踪器,集群中每个NameNode只有一个作业跟踪器,这是假设您在MRV1(非纱线)Hadoop集群(Hadoop 1.x)上。

在mapreduce中-映射器的数量取决于输入拆分的数量

每个数据节点也将有一个任务跟踪器

在这种情况下,如果单个节点内存在多个输入拆分,则拆分(根据数据位置优化)将在相应机器JVM的队列中执行(默认情况下,每个节点有两个JVM来执行操作)


考虑到上述场景-任务跟踪器与映射器之间将存在一对多映射。

在mapreduce中-映射器的数量取决于输入拆分的数量

每个数据节点也将有一个任务跟踪器

在这种情况下,如果单个节点内存在多个输入拆分,则拆分(根据数据位置优化)将在相应机器JVM的队列中执行(默认情况下,每个节点有两个JVM来执行操作)

考虑到上述场景,任务跟踪器将与映射器进行一对多映射