Apache spark Kubernetes中的Spark作业处于运行状态

我正在提交Kubernetes中本地运行的Spark作业（Docker桌面）。我能够提交作业并在屏幕上看到它们的最终输出

但是，即使它们已经完成，驱动程序和执行器吊舱仍处于运行状态

用于将Spark作业提交给kubernetes的基本图像是Spark附带的图像，如中所述

这就是我的

spark submit

命令的样子：

~/spark-2.4.3-bin-hadoop2.7/bin/spark-submit \
    --master k8s://https://kubernetes.docker.internal:6443 \
    --deploy-mode cluster \
    --name my-spark-job \
    --conf spark.kubernetes.container.image=my-spark-job \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.submission.waitAppCompletion=false \
    local:///opt/spark/work-dir/my-spark-job.py

这就是

kubectl get pods

返回的结果：

NAME                                READY   STATUS    RESTARTS   AGE
my-spark-job-1568669908677-driver   1/1     Running   0          11m
my-spark-job-1568669908677-exec-1   1/1     Running   0          10m
my-spark-job-1568669908677-exec-2   1/1     Running   0          10m

---

我明白了。我忘了停止Spark上下文。我的脚本现在看起来像这样，在完成时，驱动程序进入

Completed

状态，驱动程序被删除

sc = SparkContext()

sqlContext = SQLContext(sc)

# code

sc.stop()

---

吊舱日志里有什么？这是你的工作特有的吗？您尝试过wordcount示例吗？感谢@Dagang查看wordcount示例，我可以看到isuse。我忘了停止SparkContext。