Apache spark Kubernetes上的火花故障排除
我有一个kubernetes集群,在那里我尝试运行一个spark示例应用程序(spark pi) 我已经设置了一个服务帐户=Apache spark Kubernetes上的火花故障排除,apache-spark,kubernetes,scheduler,spark-operator,Apache Spark,Kubernetes,Scheduler,Spark Operator,我有一个kubernetes集群,在那里我尝试运行一个spark示例应用程序(spark pi) 我已经设置了一个服务帐户=spark 场景 当我从下面的命令行执行spark submit时,我得到一个容器错误 bin/spark-submit --master k8s://https://IP:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.exe
spark
场景
当我从下面的命令行执行spark submit
时,我得到一个容器错误
bin/spark-submit --master k8s://https://IP:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=spark:latest --conf spark.kubernetes.container.image.pullPolicy=Never --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark local:///opt/spark/examples/jars/spark-examples_2.12-3.1.0-SNAPSHOT.jar 10
期望值:
获取日志中打印的pi
=3.14
的值
实际结果:
由于错误情况,驾驶员舱无法启动。
当我在pod上进行描述时,我看到以下内容:
$kubectl描述pods spark pi驱动程序
"applicationState": {
"state": "FAILING",
"errorMessage": "driver container failed with ExitCode: 1, Reason: Error"
},