Hadoop R脚本日志未作为oozie任务日志上的输出获取
我使用下面的Rscript作为hadoop流的映射器。我想在tasktracker的控制台或oozie所做的任何其他日志位置查看日志信息\警告等,但这不是任何原因。我的oozie作业已成功完成 剧本Hadoop R脚本日志未作为oozie任务日志上的输出获取,hadoop,hadoop-streaming,oozie,rscript,Hadoop,Hadoop Streaming,Oozie,Rscript,我使用下面的Rscript作为hadoop流的映射器。我想在tasktracker的控制台或oozie所做的任何其他日志位置查看日志信息\警告等,但这不是任何原因。我的oozie作业已成功完成 剧本 #! /usr/bin/env Rscript library(methods) library(utils) library(devtools) library(corpcor) library(getopt) library(logging) library(HadoopStreaming)
#! /usr/bin/env Rscript
library(methods)
library(utils)
library(devtools)
library(corpcor)
library(getopt)
library(logging)
library(HadoopStreaming)
main <- function() {
paste("A", 1:50, sep = "")
input <- file("stdin", open = "r")
loginfo("CUSTOM ERROR")
targets <- read.table(file="meta_reference1.csv", sep=";")
print("############################################")
print(target)
close(input)
}
为测试目的更新了Rscript
#! /usr/bin/env Rscript
library(methods)
library(utils)
library(devtools)
library(corpcor)
library(getopt)
library(logging)
library(HadoopStreaming)
main <- function() {
write("prints to stderr", stderr())
write("prints to stdout", stdout())
}
没有出现日志。。请建议尝试使用书写而不是打印,这对我很有用
write("prints to stderr", stderr())
write("prints to stdout", stdout())
我得到的信息如下。这对我不起作用stdout logs stderr logs/bin/sh:module:第1行:语法错误:意外的文件结尾/bin/sh:error导入“module”的函数定义是否因为上述错误而不起作用?任何猜测,请张贴您的整个脚本,以防它是可能的只是检查写在集群上我使用下面的脚本/usr/bin/env Rscript librarymethods libraryutils librarydevtools librarycorpcor librarygetopt librarylogging libraryHadoopStreaming main抱歉,看起来格式化在oops上面粘贴的脚本中受到干扰,这是我的错误。。。我没有调用main函数,所以它不工作。我刚打电话给梅因,结果成功了,这是我的错。。。我没有调用main函数,所以它不工作。我刚打电话给梅因,结果成功了