Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 纱线应用AWS EMR(应用历史)的信息存储在哪里?_Amazon Web Services_Apache Spark_Amazon Emr - Fatal编程技术网

Amazon web services 纱线应用AWS EMR(应用历史)的信息存储在哪里?

Amazon web services 纱线应用AWS EMR(应用历史)的信息存储在哪里?,amazon-web-services,apache-spark,amazon-emr,Amazon Web Services,Apache Spark,Amazon Emr,上下文 我在Amazon EMR集群上运行spark应用程序 这些应用程序由纱线组织 我没有定义warn.nodemanager.log dirs,spark.warn.historyServer.address或其他配置。 在“应用程序历史记录”选项卡中,有关于“步骤”的信息 我查看了,但没有找到“应用程序历史记录”存储的信息 问题 我想知道默认情况下“应用程序历史记录”存储在哪里 提前谢谢 UPD 主要问题是群集已关闭,我无法在主节点上查看您是否尝试在主节点:18480上使用spark hi

上下文

我在Amazon EMR集群上运行spark应用程序

这些应用程序由纱线组织

我没有定义
warn.nodemanager.log dirs
spark.warn.historyServer.address
或其他配置。 在“应用程序历史记录”选项卡中,有关于“步骤”的信息

我查看了,但没有找到“应用程序历史记录”存储的信息

问题

我想知道默认情况下“应用程序历史记录”存储在哪里

提前谢谢

UPD
主要问题是群集已关闭,我无法在主节点上查看

您是否尝试在主节点:18480上使用spark history,或在主节点:8088上使用Thread ui?@dytyniak抱歉,我忘了说群集已关闭请尝试按照以下说明操作:。您应该配置对s3存储桶的存档。您是否尝试在master_节点:18480上使用spark history,或在master_节点:8088上使用Thread ui?@dytyniak抱歉,我忘了说群集已关闭。请尝试按照以下说明操作:。您应该将归档配置为s3存储桶。