Hadoop中reducer级别的复制?

Hadoop中reducer级别的复制?,hadoop,mapreduce,bigdata,Hadoop,Mapreduce,Bigdata,当reducer尝试从临时文件夹复制中间数据时,是否会复制中间数据(由映射器发出)?否,映射器发出的数据将位于映射器计算机的本地磁盘上。减速器通过网络将其复制。如果映射器节点在复制过程中或在复制开始之前发生故障,则会在其他节点上生成新的映射器任务。否,映射器发出的数据将位于映射器计算机的本地磁盘上。减速器通过网络将其复制。如果在复制过程中或在复制开始之前映射器节点关闭,则会在其他节点上生成新的映射器任务。确定,那么在将数据写入hdfs时是否会使用reducer?如果不是,则当reducer发出数

当reducer尝试从临时文件夹复制中间数据时,是否会复制中间数据(由映射器发出)?

否,映射器发出的数据将位于映射器计算机的本地磁盘上。减速器通过网络将其复制。如果映射器节点在复制过程中或在复制开始之前发生故障,则会在其他节点上生成新的映射器任务。

否,映射器发出的数据将位于映射器计算机的本地磁盘上。减速器通过网络将其复制。如果在复制过程中或在复制开始之前映射器节点关闭,则会在其他节点上生成新的映射器任务。

确定,那么在将数据写入hdfs时是否会使用reducer?如果不是,则当reducer发出数据时,数据存储在HDFS中,其中一个副本节点将是reducer节点本身(或距离reducer最近的节点)。这将节省一些网络带宽。好的,那么在将数据写入hdfs时是否要使用减速机呢?如果不是,则当reducer发出数据时,数据存储在HDFS中,其中一个副本节点将是reducer节点本身(或距离reducer最近的节点)。这将节省一些网络带宽。