Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何使用创建的spark jobserver上下文保留每个作业的日志文件_Apache Spark_Spark Jobserver - Fatal编程技术网

Apache spark 如何使用创建的spark jobserver上下文保留每个作业的日志文件

Apache spark 如何使用创建的spark jobserver上下文保留每个作业的日志文件,apache-spark,spark-jobserver,Apache Spark,Spark Jobserver,我曾经从server_start.sh运行spark job server,它附带日志文件,日志文件中指定了log4j中指定的默认分配上下文 但是,当我运行以下命令时,创建了上下文 curl-d“'myhost.com:8090/contexts/my context?num cpu cores=4&mem/node=512m” 对于我手动创建的上述上下文,我不需要日志记录器查看日志文件。我可以知道在哪里找到日志文件,或者如何在创建上下文期间指定使日志文件位于预期位置的位置吗 在我设置&cont

我曾经从server_start.sh运行spark job server,它附带日志文件,日志文件中指定了log4j中指定的默认分配上下文

但是,当我运行以下命令时,创建了上下文

curl-d“'myhost.com:8090/contexts/my context?num cpu cores=4&mem/node=512m”

对于我手动创建的上述上下文,我不需要日志记录器查看日志文件。我可以知道在哪里找到日志文件,或者如何在创建上下文期间指定使日志文件位于预期位置的位置吗


在我设置&context per-jvm=true之后。我找到了每个作业的日志文件。但是,它很快就会被删除。我可以知道是否有办法将每个作业的日志文件保留一段特定的时间吗?

不确定您为什么说“它将很快被删除”。您的意思是SJS会自动删除它们吗?是的。几秒钟后,日志文件和包含日志文件的名为context的目录将消失。