Apache spark 在spark 2.3.0上使用k8s群集作为spark群集管理器

我试图从spark 2.3.0的二进制版本向k8s集群提交一个示例作业，提交命令如下所示。然而，我一直遇到一个错误的主错误。我确信我的k8s集群工作正常

bin/spark-submit \
    --master k8s://https://<k8s-master-ip> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=3 \
    --conf spark.kubernetes.container.image= <image-built-from-dockerfile> \
    --conf spark.kubernetes.driver.pod.name=spark-pi-driver \
    local:///opt/examples/jars/spark-examples_2.11-2.3.0.jar

---

因为我不擅长英语。所以可能有一些语法错误。但我会尽力回答你的问题。我的解决方法是检查$SPARK_HOME并更改为“apache-SPARK-on-k8s”文件路径。因为SPARK submit是默认的，所以请使用“${SPARK_HOME}”来运行您的命令。也许您在同一台机器上有两个SPARK环境，就像我一样。所以命令总是使用你原来的火花。希望这个答案能对你有所帮助

Kubernetes master is running at https://192.168.0.10:6443
KubeDNS is running at https://192.168.0.10:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy