Scala Spark k8s驱动程序故障,无任何特定错误

Scala Spark k8s驱动程序故障,无任何特定错误,scala,docker,apache-spark,kubernetes,spark-streaming,Scala,Docker,Apache Spark,Kubernetes,Spark Streaming,我正在尝试在k8s上运行spark应用程序,但它在创建容器后立即失败。没有具体的错误。我只看到错误代码101 Container name: spark-kubernetes-driver Container image: image URL Container state: Terminated Exit code: 101 Driver logs + CMD=("$SPARK_HOME/bin/spark-submit" --conf "spark

我正在尝试在k8s上运行spark应用程序,但它在创建容器后立即失败。没有具体的错误。我只看到错误代码101

Container name: spark-kubernetes-driver
Container image: image URL
Container state: Terminated
Exit code: 101



Driver logs
    + CMD=("$SPARK_HOME/bin/spark-submit" --conf "spark.driver.bindAddress=$SPARK_DRIVER_BIND_ADDRESS" --deploy-mode client "$@")
    + exec /usr/bin/tini -s -- /opt/spark/bin/spark-submit --conf spark.driver.bindAddress=10.1.0.10 --deploy-mode client --properties-file /opt/spark/conf/spark.properties --class $className spark-internal args
Spark提交命令

`bin/spark-submit  --class $className 
--master k8s://https://kubernetes.docker.internal:6443 
--deploy-mode cluster 
--name app-job 
--conf spark.kubernetes.authenticate.submission.oauthToken=$(kubectl get secret $(kubectl describe serviceaccount spark-sa --namespace=pipelines | grep Token | awk '{print $2}') -o jsonpath="{.data.token}" | base64 --decode) 
--conf spark.kubernetes.docker.image.pullPolicy=Always 
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-sa 
--conf spark.executor.instances=2
--conf spark.kubernetes.namespace=pipelines 
--conf spark.kubernetes.executor.container.image=$imageURL 
--conf spark.network.timeout=500 
--conf spark.metrics.namespace=app-job 
--conf spark.kubernetes.driver.container.image=$imageURL $JARURL 10000` 

是否修改了spark submit命令以隐藏某些参数的值?因为如果没有,spark submit在没有主类参数(aka--class)的情况下无法工作@是的,它被修改了。我有正确的类名,好吧,我这样问是因为如果你检查SparkSubmit.scala代码,退出代码101正好用来表示找不到主类(或者由于某种原因,它无法加载)的错误。我不知道它是否也被用于其他原因,但是一个想法是仔细检查主类是否正确等等。您可以在这里看到代码:但是在退出之前它应该有更多的日志,所以可能它不相关。我给出了Jar artifactoy URL,有没有办法检查Jar是否被下载?