Hadoop一直在/tmp目录中编写映射的中间输出
我在/tmp中的容量有限,因此我希望将mapred的所有中间输出移动到更大的分区中,例如/home/hdfs/tmp_data。Hadoop一直在/tmp目录中编写映射的中间输出,hadoop,configuration,mapreduce,Hadoop,Configuration,Mapreduce,我在/tmp中的容量有限,因此我希望将mapred的所有中间输出移动到更大的分区中,例如/home/hdfs/tmp_data。 如果我理解正确,我只需要设置 <property> <name>mapred.child.tmp</name> <value>/home/hdfs/tmp_data</value> mapred.child.tmp /主/hdfs/tmp_数据 在mapred site.xml中 我通过Ambari重
如果我理解正确,我只需要设置
<property>
<name>mapred.child.tmp</name>
<value>/home/hdfs/tmp_data</value>
mapred.child.tmp
/主/hdfs/tmp_数据
在mapred site.xml中我通过Ambari重新启动集群,检查conf文件中的所有内容, 但是,当我运行一个pig脚本时,它会一直在写: /tmp/hadoop hdfs/mapred/local/taskTracker/hdfs/jobcache/job_localXXX/trust_YY/output 我还将core-site.xml中的hadoop.tmp.dir修改为/home/hdfs/tmp_数据,但没有任何变化。
是否有任何参数覆盖我的设置?请尝试覆盖tasktracker nodes mapred-site.xml文件中的以下属性并重新启动它
<property>
<name>mapred.local.dir/name>
<value>/home/hdfs/tmp_data</value>
</property>
mapred.local.dir/name>
/主/hdfs/tmp_数据