Apache spark kubernetes上的火花执行-驱动程序吊舱失败

我尝试使用spark 2.3本机kubernetes部署特性在kubernetes集群上运行简单的spark代码

我有一个kubernetes集群正在运行。此时，火花代码不读取或写入数据。它从列表中创建一个RDD并打印出结果，只是为了验证在spark上运行kubernetes的能力。此外，还复制了kubernetes容器图像中的spark应用程序jar

下面是我运行的命令

bin/spark提交——主k8s：//https://k8-master --部署模式集群——名称sparkapp——类com.sparkonk8.rdd.MockWordCount——conf spark.executor.instances=5——conf spark.kubernetes.container.image=myapp/sparkapp:1.0.0local:///SparkApp.jar

2018-03-06 10:31:28信息日志PodStatusWatcherImpl:54-状态 已更改，新状态：pod名称： sparkapp-6e475a6ae18d3b7a89ca2b5f6ae7aae4-driver命名空间：默认 标签：spark应用程序选择器-> spark-9649dd66e9a946d989e2136d342ef249，spark角色->驾驶员舱 uid:6d3e98cf-2153-11e8-85af-1204f474c8d2创建时间： 2018-03-06T15:31:23Z服务帐户名称：默认卷： 默认令牌vwxvr节点名称：192-168-1-1.myapp.engg.com开始 时间：2018-03-06T15:31:23Z集装箱图片： dockerhub.com/myapp/sparkapp:1.0.0阶段：失败状态： [集装箱状态（集装箱运输）=docker://3617a400e4604600d5fcc69df396facafbb2d9cd485a63bc324c1406e72f0d35, image=dockerhub.com/myapp/sparkapp:1.0.0， imageID=docker-pullable://dockerhub.com/sparkapp@sha256:f051d86384422dff3e8c8a97db823de8e62af3ea88678da4beea3f58cdb924e5， lastState=ContainerState（running=null，terminated=null，waiting=null， additionalProperties={}），name=spark-kubernetes驱动程序，ready=false， restarcount=0，state=ContainerState（running=null， terminated=集装箱状态terminated（集装箱ID=docker://3617a400e4604600d5fcc69df396facafbb2d9cd485a63bc324c1406e72f0d35, exitCode=1，finishedAt=Time（Time=2018-03-06T15:31:24Z， additionalProperties={}），message=null，reason=Error，signal=null， startedAt=Time（Time=2018-03-06T15:31:24Z，additionalProperties={}）， additionalProperties={}），waiting=null，additionalProperties={}）， 附加属性={}]2018-03-06 10:31:28信息 LoggingPodStatusWatcherImpl:54-容器最终状态：

容器名称：spark kubernetes驱动程序容器图像： myapp/sparkapp:1.0.0容器状态：终止退出代码：1

---

下面是驱动程序pod提交的spark配置。我从K8s用户界面中提取了这个@TobiSH让我知道这是否有助于解决我的问题

SPARK_DRIVER_MEMORY: 1g
SPARK_DRIVER_CLASS: com.sparrkonk8.rdd.MockWordCount
SPARK_DRIVER_ARGS: 
SPARK_DRIVER_BIND_ADDRESS: 
SPARK_MOUNTED_CLASSPATH: /SparkApp.jar:/SparkApp.jar
SPARK_JAVA_OPT_0: -Dspark.kubernetes.executor.podNamePrefix=sparkapp-028d46fa109e309b8dfe1a4eceb46b61
SPARK_JAVA_OPT_1: -Dspark.app.name=sparkapp
SPARK_JAVA_OPT_2: -Dspark.kubernetes.driver.pod.name=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver
SPARK_JAVA_OPT_3: -Dspark.executor.instances=5
SPARK_JAVA_OPT_4: -Dspark.submit.deployMode=cluster
SPARK_JAVA_OPT_5: -Dspark.driver.blockManager.port=7079
SPARK_JAVA_OPT_6: -Dspark.kubernetes.container.image=docker.com/myapp/sparkapp:1.0.0
SPARK_JAVA_OPT_7: -Dspark.app.id=spark-5e3beb5109174f40a84635b786789c30
SPARK_JAVA_OPT_8: -Dspark.master= k8s://https://k8-master
SPARK_JAVA_OPT_9: -Dspark.driver.host=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver-svc.default.svc
SPARK_JAVA_OPT_10: -Dspark.jars=/opt/spark/work-dir/SparkApp.jar,/opt/spark/work-dir/SparkApp.jar
SPARK_JAVA_OPT_11: -Dspark.driver.port=7078`

---

由于没有日志，这意味着它在创建容器时会立即崩溃。我建议尝试使用本地主配置运行此代码，以确保spark端的一切正常，然后通过kubernetes作为主配置重试。

我猜您已经在本地计算机上运行此代码了，对吗？你有更多的日志吗<代码>kubectl日志可能？我知道这不是答案（但我不允许留下评论），但我建议您查看日志：>kubectl日志sparkapp-6e475a6ae18d3b7a89ca2b5f6ae7aae4-driver并将输出粘贴到此处。您解决了此问题吗？我也有同样的问题，我试着在GCP上使用Spark源代码构建。所有的尝试都失败了。虽然主节点向我提供了与您类似的信息，但带有kubectl Descripte的探测只成功创建了容器消息，作为最后一条消息，没有更多更新。我不知道现在去哪里看。