Shell 捕获oozie spark动作输出

我想在Oozie中捕获spark作业的控制台输出。我知道oozie spark操作不支持

。因此，我将spark作业包装在shell操作中，因为shell操作支持

我在spark程序中打印了一行，如下所示

println("result=this is a pen")

并尝试使用

${wf:actionData（“action id”）[“Variable”]}

读取它。但是，我得到了一个空值

---

我能够从调用上面spark作业的shell中捕获我正在回响的输出，但不能捕获我正在spark程序中打印的值。我在这里遗漏了什么？

您是否在纱线日志中检查了shell及其子进程（即Spark驱动程序）实际输出的内容？您可以做一件事，从shell中为Spark作业生成的堆栈中捕获应用程序ID，并使用该应用程序ID获取类似纱线日志的stdout-applicationId application_121122; 1212>>YarnStdOut.txt