Apache spark 独立群集模式的Spark历史记录

我在Spark网站上看到了这篇文章。我试图在UI上查看Spark日志，即使在应用程序结束或终止之后。 我是否可以在独立模式下查看日志

Spark在Mesos或Thread上运行，只要应用程序的事件日志存在，仍然可以通过Spark的历史服务器构建应用程序的UI。您可以通过执行以下操作来启动历史记录服务器：

./sbin/start-history-server.sh
This creates a web interface at http://<server-url>:18080 by default, listing incomplete and completed applications and attempts.

When using the file-system provider class (see spark.history.provider below), the base logging directory must be supplied in the spark.history.fs.logDirectory configuration option, and should contain sub-directories that each represents an application’s event logs.

The spark jobs themselves must be configured to log events, and to log them to the same shared, writeable directory. For example, if the server was configured with a log directory of hdfs://namenode/shared/spark-logs, then the client-side options would be:

spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode/shared/spark-logs

/sbin/start-history-server.sh
默认情况下，这将在http://:18080处创建一个web界面，列出未完成和已完成的应用程序和尝试。
使用文件系统提供程序类（请参阅下面的spark.history.provider）时，必须在spark.history.fs.logDirectory配置选项中提供基本日志目录，并且应该包含每个表示应用程序事件日志的子目录。
spark作业本身必须配置为记录事件，并将其记录到相同的共享可写目录。例如，如果服务器配置的日志目录为hdfs://namenode/shared/spark-logs，则客户端选项将是：
spark.eventLog.enabled true spark.eventLog.dirhdfs://namenode/shared/spark-logs

是，启用历史记录服务器后，您可以查看日志。是，启用历史记录服务器后，您可以查看日志。