Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark master/worker未在历史记录服务器配置中写入日志_Apache Spark_Apache Zeppelin - Fatal编程技术网

Apache spark Spark master/worker未在历史记录服务器配置中写入日志

Apache spark Spark master/worker未在历史记录服务器配置中写入日志,apache-spark,apache-zeppelin,Apache Spark,Apache Zeppelin,对于Spark设置来说,这是一个全新的概念。我想为我运行的每个单独的spark群集保存事件日志。在我的设置中,/history logsdir根据集群名称从不同的位置装载。目录的权限允许spark用户(751)读写 主程序和辅助程序的$SPARK_HOME/conf/SPARK defaults.conf下的配置文件如下: spark.eventLog.enabled true spark.eventLog.dir file:///history-logs spark.history.fs.lo

对于Spark设置来说,这是一个全新的概念。我想为我运行的每个单独的spark群集保存事件日志。在我的设置中,
/history logs
dir根据集群名称从不同的位置装载。目录的权限允许spark用户(751)读写

主程序和辅助程序的
$SPARK_HOME/conf/SPARK defaults.conf
下的配置文件如下:

spark.eventLog.enabled true
spark.eventLog.dir file:///history-logs
spark.history.fs.logDirectory file:///history-logs
我正在连接齐柏林飞艇并运行一段简单的代码:

val rdd = sc.parallelize(1 to 5)
println(rdd.sum())
但没有文件被写入该文件夹

如果我在Zeppellin解释器本身中配置类似的参数,至少我看到应用程序日志文件是在目录中创建的

是否可以在每个集群的基础上保存主/工作日志?我可能遗漏了一些明显的东西

谢谢