Apache spark 在ApacheLivy中使用logback.xml

我正在尝试将

logback.xml

与apachelivyrestapi一起使用，但在使其正常工作时遇到了问题。我已尝试提交

logback.xml

路径，如下所示

data = {
    "file" : "<PATH_TO_JAR_FILE>",
    "className" : "<CLASS_NAME>",
    "files": ["file:///path/to/log4j.properties", "file:///path/to/logback.xml"],
    "conf": {"driver-java-options":"-Dlogback.configurationFile=file:///path/to/logback.xml"}
}

数据={
“文件”：“，
“类名”：“，
“文件”：[“file:///path/to/log4j.properties", "file:///path/to/logback.xml"],
“conf”：{“驱动程序java选项”：“-Dlogback.configurationFile”=file:///path/to/logback.xml"}
}

---

但是，我得到了警告

忽略非spark配置属性：driver java options=-Dlogback.configurationFile

。我可以使用

spark.driver.extraJavaOptions

而不是

driver-java-options

添加

logback.xml

文件，但这并没有什么区别，因为JVM已经启动了。所以我的问题是，如何让Livy使用

logback.xml

我看到您正在尝试配置ApacheLivy服务器的日志记录。但使用它的RESTAPI（IIUC，您正在发送POST

/batches

或

/sessions

），您正在提交Spark作业并将

logback.xml

提供给Spark驱动程序进程，该进程独立于Livy服务器进程

您需要做的是在Livy服务器进程启动时将

-Dlogback.configurationFile=…

选项传递给它。很可能（取决于您的Livy版本和环境），您应该设置

导出Livy\u服务器\u JAVA\u选项=-Dlogback.configurationFile=…

环境变量并使用

$Livy\u HOME/bin/Livy服务器start启动Livy。请参阅GitHub