Apache spark spark submit--mesos master的状态不返回任何内容

我想通过以下方式检索mesos主机上以群集模式运行的spark作业的状态：

spark-submit --master mesos://<ip>:7077 --status "driver-...-..."

如果我使用无效的提交id运行，我会

2018-10-02 18:47:01 ERROR RestSubmissionClient:70 - Error: Server responded with message of unexpected type SubmissionStatusResponse.

---

知道为什么spark submit--status没有返回任何内容吗？

我通过直接访问dispatcher的api找到了一个解决方法：

curl-s“http://$DISPATCHER/v1/submissions/status/$SUBMISSION\u ID”

---

仍然没有明确的答案为什么

spark submit--status

的行为与文档中的不一样。

不确定您使用的是哪个版本的spark。我的调查基于spark-2.4.0。所述行为适用于spark单机版和mesos部署目标

org.apache.spark.deploy.rest.RestSubmissionClient

用作rest提交请求的处理程序，并以编程方式使用INFO级别记录响应

org.apache.spark.deploy.SparkSubmit

在调用spark submit时用作一个主类，其记录器是所有其他记录器的顶级根记录器

从编程角度讲，如果在conf/log4j.properties中没有设置SparkSubmit的特定记录器（当该文件不存在时，同样适用），则默认级别设置为WARN

更进一步说，在没有RestSubmissionClient的特定记录器的情况下，它将获得其根记录器的级别，即SparkSubmit的记录器

您可以看到错误，因为“再次警告”是默认值

为了能够查看rest提交的日志，您可能需要调整${SPARK_HOME}/conf/log4j.properties

log4j.logger.org.apache.spark.deploy.rest.RestSubmissionClient=INFO

或者

log4j.logger.org.apache.spark.deploy.rest=INFO

用于该包中的其他类。

添加以下内容 log4j.logger.org.apache.spark.deploy.rest.RestSubmissionClient=INFO和log4j.logger.org.apache.spark.deploy.rest=INFO

到log4j.properties 在/etc/spark/conf位置下显示，然后再次查找状态

spark提交——主spark://:6066——状态驱动程序-20210516043704-0012

2018-10-02 18:47:01 ERROR RestSubmissionClient:70 - Error: Server responded with message of unexpected type SubmissionStatusResponse.