Apache spark 强制删除火花盒驱动程序时,驱动程序不会重新启动

Apache spark 强制删除火花盒驱动程序时,驱动程序不会重新启动,apache-spark,kubernetes,pyspark,spark-streaming,google-kubernetes-engine,Apache Spark,Kubernetes,Pyspark,Spark Streaming,Google Kubernetes Engine,我有一个spark流媒体工作,我正试图提交一个spark-k8运营商。我始终保持重启策略。但是,手动删除驱动程序时,驱动程序不会重新启动。 我的yaml: Spark版本:2.4.5 apiVersion:“sparkoperator.k8s.io/v1beta2” 我遵循的步骤: 通过kubectl apply-f examples/spark-test.yaml创建资源。Pod已成功创建。 手动删除驱动程序 预期行为: 新的驱动程序吊舱将根据重启策略重启 实际行为: 驱动程序和执行程序吊舱已

我有一个spark流媒体工作,我正试图提交一个spark-k8运营商。我始终保持重启策略。但是,手动删除驱动程序时,驱动程序不会重新启动。 我的yaml:

Spark版本:2.4.5 apiVersion:“sparkoperator.k8s.io/v1beta2”

我遵循的步骤:

通过kubectl apply-f examples/spark-test.yaml创建资源。Pod已成功创建。 手动删除驱动程序

预期行为: 新的驱动程序吊舱将根据重启策略重启

实际行为: 驱动程序和执行程序吊舱已被删除

环境: 在Mac上用Docker测试这个。具有4个CPU和8 GB内存

来自spark-operator的日志
{失败的驱动程序pod失败,ExitCode:143,原因:错误}

spark-K8驱动程序出现问题,现已修复,我可以看到手动删除的驱动程序正在重新启动。基本上,代码并没有处理默认值

或者只需设置以下配置,即可不需要默认值”

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: test-v2
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: "com/test:v1.0"
  imagePullPolicy: Never
  mainClass: com.test.TestStreamingJob
  mainApplicationFile: "local:///opt/spark-2.4.5/work-dir/target/scala-2.12/test-assembly-0.1.jar"
  sparkVersion: "2.4.5"
  restartPolicy:
    type: Always
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 2.4.5
    serviceAccount: spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
    terminationGracePeriodSeconds: 60
  executor:
    cores: 1
    instances: 2
    memory: "512m"
    labels:
      version: 2.4.5
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
restartPolicy:
    type: Always
    onFailureRetries: 3
    onFailureRetryInterval: 10
    onSubmissionFailureRetries: 3
    onSubmissionFailureRetryInterval: 10