Java Hadoop中的映射器输出保存在哪里?

Java Hadoop中的映射器输出保存在哪里?,java,hadoop,mapreduce,hdfs,cloudera,Java,Hadoop,Mapreduce,Hdfs,Cloudera,我感兴趣的是有效地管理Hadoop洗牌流量,并有效地利用网络带宽。要做到这一点,我想知道每个数据节点产生了多少洗牌流量?洗牌流量只是映射器的输出。那么这个映射器输出保存在哪里呢?如何实时获取每个数据节点的映射器输出的大小?谢谢你的帮助 我已经创建了一个目录来存储这个映射器输出,如下所示 <property> <name>mapred.local.dir</name> <value>/app/hadoop/tmp/myoutput</va

我感兴趣的是有效地管理Hadoop洗牌流量,并有效地利用网络带宽。要做到这一点,我想知道每个数据节点产生了多少洗牌流量?洗牌流量只是映射器的输出。那么这个映射器输出保存在哪里呢?如何实时获取每个数据节点的映射器输出的大小?谢谢你的帮助

我已经创建了一个目录来存储这个映射器输出,如下所示

 <property>
 <name>mapred.local.dir</name>
 <value>/app/hadoop/tmp/myoutput</value>
 </property>                     
当我运行mapreduce作业时,我在这里找不到任何东西


谢谢

地图作业的输出存储在地图绘制者的本地磁盘中。map作业完成后,这些本地输出将传输到减速器。您可以检查$HADOOP\u HOME/conf/mapred site.xml以检查映射器输出的存储位置

<property>
    <name>mapred.local.dir</name>
    <value>$DIR</value>
</property>

mapred.local.dir
$DIR

谢谢。我没有在mapred.site.xml文件中提到任何mapred.local.dir。因此,默认情况下,映射器输出保存在哪里?我只需要地图输出的大小。你好,阿马尔,我已经编辑了我的文章。请看一下。正如您所建议的,我已经创建了一个目录来存储地图输出。但是我在那里看不到映射器的输出。
<property>
    <name>mapred.local.dir</name>
    <value>$DIR</value>
</property>