Hadoop 如何登录到烫伤中的文件?

Hadoop 如何登录到烫伤中的文件?,hadoop,mapreduce,scalding,Hadoop,Mapreduce,Scalding,在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业 如何将日志添加到我的工作中 例如 任何日志框架都可以。显然,您也可以使用println—它将以hdfs模式出现在hadoop集群的作业历史记录中的作业标准输出日志文件中,或以本地模式出现在控制台中 还考虑用AdSt陷入网方法定义陷阱以捕获错误记录。 import com.twitter.scalding._ class WordCountJob(args: Args) extends

在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业

如何将日志添加到我的工作中

例如


任何日志框架都可以。显然,您也可以使用println—它将以hdfs模式出现在hadoop集群的作业历史记录中的作业标准输出日志文件中,或以本地模式出现在控制台中

还考虑用AdSt陷入网方法定义陷阱以捕获错误记录。

import com.twitter.scalding._
class WordCountJob(args: Args) extends Job(args) {
   //LOG: Starting job at time blah..
   TextLine( args("input") )
   .read
   .flatMap('line -> 'word) {
      line: String =>
      line.trim.toLowerCase.split("\\W+") 
   }
   .groupBy('word) { group => group.size('count) }
}
.write(Tsv(args("output")))
//LOG - ending job at time...
}