Apache spark 强制删除火花盒驱动程序时,驱动程序不会重新启动
我有一个spark流媒体工作,我正试图提交一个spark-k8运营商。我始终保持重启策略。但是,手动删除驱动程序时,驱动程序不会重新启动。 我的yaml: Spark版本:2.4.5 apiVersion:“sparkoperator.k8s.io/v1beta2” 我遵循的步骤: 通过kubectl apply-f examples/spark-test.yaml创建资源。Pod已成功创建。 手动删除驱动程序 预期行为: 新的驱动程序吊舱将根据重启策略重启 实际行为: 驱动程序和执行程序吊舱已被删除 环境: 在Mac上用Docker测试这个。具有4个CPU和8 GB内存 来自spark-operator的日志Apache spark 强制删除火花盒驱动程序时,驱动程序不会重新启动,apache-spark,kubernetes,pyspark,spark-streaming,google-kubernetes-engine,Apache Spark,Kubernetes,Pyspark,Spark Streaming,Google Kubernetes Engine,我有一个spark流媒体工作,我正试图提交一个spark-k8运营商。我始终保持重启策略。但是,手动删除驱动程序时,驱动程序不会重新启动。 我的yaml: Spark版本:2.4.5 apiVersion:“sparkoperator.k8s.io/v1beta2” 我遵循的步骤: 通过kubectl apply-f examples/spark-test.yaml创建资源。Pod已成功创建。 手动删除驱动程序 预期行为: 新的驱动程序吊舱将根据重启策略重启 实际行为: 驱动程序和执行程序吊舱已
{失败的驱动程序pod失败,ExitCode:143,原因:错误}spark-K8驱动程序出现问题,现已修复,我可以看到手动删除的驱动程序正在重新启动。基本上,代码并没有处理默认值 或者只需设置以下配置,即可不需要默认值”
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
name: test-v2
namespace: default
spec:
type: Scala
mode: cluster
image: "com/test:v1.0"
imagePullPolicy: Never
mainClass: com.test.TestStreamingJob
mainApplicationFile: "local:///opt/spark-2.4.5/work-dir/target/scala-2.12/test-assembly-0.1.jar"
sparkVersion: "2.4.5"
restartPolicy:
type: Always
volumes:
- name: "test-volume"
hostPath:
path: "/tmp"
type: Directory
driver:
cores: 1
coreLimit: "1200m"
memory: "512m"
labels:
version: 2.4.5
serviceAccount: spark
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
terminationGracePeriodSeconds: 60
executor:
cores: 1
instances: 2
memory: "512m"
labels:
version: 2.4.5
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
restartPolicy:
type: Always
onFailureRetries: 3
onFailureRetryInterval: 10
onSubmissionFailureRetries: 3
onSubmissionFailureRetryInterval: 10