Java Hadoop中的映射器输出保存在哪里?
我感兴趣的是有效地管理Hadoop洗牌流量,并有效地利用网络带宽。要做到这一点,我想知道每个数据节点产生了多少洗牌流量?洗牌流量只是映射器的输出。那么这个映射器输出保存在哪里呢?如何实时获取每个数据节点的映射器输出的大小?谢谢你的帮助 我已经创建了一个目录来存储这个映射器输出,如下所示Java Hadoop中的映射器输出保存在哪里?,java,hadoop,mapreduce,hdfs,cloudera,Java,Hadoop,Mapreduce,Hdfs,Cloudera,我感兴趣的是有效地管理Hadoop洗牌流量,并有效地利用网络带宽。要做到这一点,我想知道每个数据节点产生了多少洗牌流量?洗牌流量只是映射器的输出。那么这个映射器输出保存在哪里呢?如何实时获取每个数据节点的映射器输出的大小?谢谢你的帮助 我已经创建了一个目录来存储这个映射器输出,如下所示 <property> <name>mapred.local.dir</name> <value>/app/hadoop/tmp/myoutput</va
<property>
<name>mapred.local.dir</name>
<value>/app/hadoop/tmp/myoutput</value>
</property>
当我运行mapreduce作业时,我在这里找不到任何东西
谢谢地图作业的输出存储在地图绘制者的本地磁盘中。map作业完成后,这些本地输出将传输到减速器。您可以检查$HADOOP\u HOME/conf/mapred site.xml以检查映射器输出的存储位置
<property>
<name>mapred.local.dir</name>
<value>$DIR</value>
</property>
mapred.local.dir
$DIR
谢谢。我没有在mapred.site.xml文件中提到任何mapred.local.dir。因此,默认情况下,映射器输出保存在哪里?我只需要地图输出的大小。你好,阿马尔,我已经编辑了我的文章。请看一下。正如您所建议的,我已经创建了一个目录来存储地图输出。但是我在那里看不到映射器的输出。
<property>
<name>mapred.local.dir</name>
<value>$DIR</value>
</property>