Apache spark Spark master/worker未在历史记录服务器配置中写入日志
对于Spark设置来说,这是一个全新的概念。我想为我运行的每个单独的spark群集保存事件日志。在我的设置中,Apache spark Spark master/worker未在历史记录服务器配置中写入日志,apache-spark,apache-zeppelin,Apache Spark,Apache Zeppelin,对于Spark设置来说,这是一个全新的概念。我想为我运行的每个单独的spark群集保存事件日志。在我的设置中,/history logsdir根据集群名称从不同的位置装载。目录的权限允许spark用户(751)读写 主程序和辅助程序的$SPARK_HOME/conf/SPARK defaults.conf下的配置文件如下: spark.eventLog.enabled true spark.eventLog.dir file:///history-logs spark.history.fs.lo
/history logs
dir根据集群名称从不同的位置装载。目录的权限允许spark用户(751)读写
主程序和辅助程序的$SPARK_HOME/conf/SPARK defaults.conf
下的配置文件如下:
spark.eventLog.enabled true
spark.eventLog.dir file:///history-logs
spark.history.fs.logDirectory file:///history-logs
我正在连接齐柏林飞艇并运行一段简单的代码:
val rdd = sc.parallelize(1 to 5)
println(rdd.sum())
但没有文件被写入该文件夹
如果我在Zeppellin解释器本身中配置类似的参数,至少我看到应用程序日志文件是在目录中创建的
是否可以在每个集群的基础上保存主/工作日志?我可能遗漏了一些明显的东西
谢谢