Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
hadoop tasktracker:为什么用户日志中缺少日志?_Hadoop_Logging - Fatal编程技术网

hadoop tasktracker:为什么用户日志中缺少日志?

hadoop tasktracker:为什么用户日志中缺少日志?,hadoop,logging,Hadoop,Logging,我正在使用hadoop1.2.1。我需要/hadoop安装目录/logs/userlogs/job-/attemp-/stdout中的stdout文件。但当我重新启动datanodes时,我的作业日志不在userlogs中。是否要访问它们? 谢谢清除日志文件的原因有多种: 按照“mapreduce.job.userlog.retain.hours”属性的定义,默认情况下每24小时清除一次(对于Gen 1的Gen 2,其mapred.userlog.retain.hours) 按照默认log4j

我正在使用hadoop1.2.1。我需要/hadoop安装目录/logs/userlogs/job-/attemp-/stdout中的stdout文件。但当我重新启动datanodes时,我的作业日志不在userlogs中。是否要访问它们?
谢谢

清除日志文件的原因有多种:

  • 按照“mapreduce.job.userlog.retain.hours”属性的定义,默认情况下每24小时清除一次(对于Gen 1的Gen 2,其mapred.userlog.retain.hours)
  • 按照默认log4j.properties中的定义,每12小时清除一次

    hadoop.tasklog.taskid=null
    hadoop.tasklog.noKeepSplits=4
    hadoop.tasklog.totalLogFileSize=100
    hadoop.tasklog.purgeLogSplits=true
    hadoop.tasklog.logsRetainHours=12
                                   ^^
    
因此,如果您有这样的配置,那么它将只保留日志12小时