Fatal编程技术网
  • apache-spark/
  • Apache spark 正在运行的spark作业未显示在UI中

Apache spark 正在运行的spark作业未显示在UI中

apache-spark

Apache spark 正在运行的spark作业未显示在UI中,apache-spark,apache-spark-1.6,Apache Spark,Apache Spark 1.6,我已提交了此处提到的spark作业bin/spark submit--class数据集BasicSparkJob-assembly-1.0.jar，但未提及--master参数或spark.master参数。而不是将作业提交到我的3节点spark群集。但我想知道它是在哪里提交作业的，因为它没有在运行应用程序的中显示任何信息很可能Spark正在您的开发机器上以本地模式运行。如果您不在--master master或Spark中设置master，则masterSpark将在本地运行 您仍然可以查看您

我已提交了此处提到的spark作业
bin/spark submit--class数据集BasicSparkJob-assembly-1.0.jar
，但未提及
--master
参数或
spark.master
参数。而不是将作业提交到我的3节点spark群集。但我想知道它是在哪里提交作业的，因为它没有在运行应用程序的
中显示任何信息
很可能Spark正在您的开发机器上以本地模式运行。
如果您不在
--master master
或
Spark中设置master，则master
Spark将在本地运行

您仍然可以查看您的工作进度。默认情况下，在
http://localhost:4040


作业完成后，此UI将被终止，除非您配置了Spark history server，否则无法查看应用程序的历史记录，有什么方法可以让我看到这个正在运行的应用程序的日志吗？您可以使用
localhost:4040
访问Web UI。它是否使用spark-default.conf中提到的相同配置来处理内存和内核？如果您指的是spar history server，它使用
spark defaults.conf
作为其配置文件，但历史服务器本身不是spark进程，这意味着它不是通过驱动程序/executor以spark方式启动的。如果您在应用程序中设置了“conf.setMaster（“local[X]”），则即使您将其提交到--master URL，它也将始终在本地运行