Apache spark 是否可以从群集模式下提交的Spark应用程序获取输出?

Apache spark 是否可以从群集模式下提交的Spark应用程序获取输出?,apache-spark,pyspark,Apache Spark,Pyspark,是否可以从以群集模式提交的我的Spark应用程序中获取输出?如果是,怎么做 我正在使用Python运行一个简单的Spark应用程序。程序只需设置一个Spark上下文,并将此应用程序成功运行的打印到屏幕上。当我提交此应用程序时,请使用以下内容: spark-submit --deploy-mode client --master local[*] foo.py 它成功运行并打印出消息 但是,当我运行相同的应用程序时: spark-submit --deploy-mode cluster --ma

是否可以从以群集模式提交的我的Spark应用程序中获取输出?如果是,怎么做

我正在使用Python运行一个简单的Spark应用程序。程序只需设置一个Spark上下文,并将此应用程序成功运行的
打印到屏幕上。当我提交此应用程序时,请使用以下内容:

spark-submit --deploy-mode client --master local[*] foo.py
它成功运行并打印出消息

但是,当我运行相同的应用程序时:

spark-submit --deploy-mode cluster --master yarn-cluster foo.py 
它运行成功,但我没有得到任何输出


虽然我已经使用Spark几个月了,但我对以集群模式提交应用程序还比较陌生,所以任何帮助/文档都非常棒

您可以将此应用程序成功运行保存到外部存储系统,例如:

sc.parallelize(['This app ran successfully'], 1).saveAsTextFile(path='hdfs:///somewhere/you/want')