Hadoop 如何登录到烫伤中的文件?
在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业 如何将日志添加到我的工作中 例如Hadoop 如何登录到烫伤中的文件?,hadoop,mapreduce,scalding,Hadoop,Mapreduce,Scalding,在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业 如何将日志添加到我的工作中 例如 任何日志框架都可以。显然,您也可以使用println—它将以hdfs模式出现在hadoop集群的作业历史记录中的作业标准输出日志文件中,或以本地模式出现在控制台中 还考虑用AdSt陷入网方法定义陷阱以捕获错误记录。 import com.twitter.scalding._ class WordCountJob(args: Args) extends
任何日志框架都可以。显然,您也可以使用println—它将以hdfs模式出现在hadoop集群的作业历史记录中的作业标准输出日志文件中,或以本地模式出现在控制台中
还考虑用AdSt陷入网方法定义陷阱以捕获错误记录。
import com.twitter.scalding._
class WordCountJob(args: Args) extends Job(args) {
//LOG: Starting job at time blah..
TextLine( args("input") )
.read
.flatMap('line -> 'word) {
line: String =>
line.trim.toLowerCase.split("\\W+")
}
.groupBy('word) { group => group.size('count) }
}
.write(Tsv(args("output")))
//LOG - ending job at time...
}