Docker 在Kubernetes上启动Spark 3.0--错误拉取图像

我正试图按照官方网站上的说明在Kubernetes上发布spark： . 我按照说明使用提供的脚本创建图像，如下所示：

./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

/bin/docker-image-tool.sh-r-t我的标签-p./kubernetes/dockerfiles/spark/bindings/python/dockerfilebuild

对于

，我使用了pyspark。 我为Kubernetes提交的spark报告如下：

./bin/spark-submit \
    --master k8s://https://<ipaddress>:<port>\
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=pyspark/spark-py:my-tag \
    --conf spark.kubernetes.file.upload.path=/usr/local/spark/examples \
    local:///usr/local/spark/examples/spark-examples_2.12-3.0.0.jar

/bin/spark提交\
--主机k8s://https://:\
--部署模式群集\
--名称火花pi\
--类org.apache.spark.examples.SparkPi\
--conf spark.executor.instances=5\
--conf spark.kubernetes.container.image=pyspark/spark-py:my-tag\
--conf spark.kubernetes.file.upload.path=/usr/local/spark/examples\
local:///usr/local/spark/examples/spark-examples_2.12-3.0.0.jar

---

kubernetes的设置看起来还可以，但是POD的图像有问题，导致重新启动。我不确定我是否有正确的图像命名法。

该示例使用pyspark/spark py:my标记作为容器图像，该图像应该存在，因为它不存在，所以您得到的错误是图像拉取错误。您可以将图像推送到dockerhub或您的私有注册表，并将其用作

example.com/repo/spark:v1.0.0

，其中example.com是您的私有注册表，repo是您的存储库

另外，当您运行

/bin/docker-image-tool.sh-r-t my tag build

时，您需要指定一个repo。您的命令应该类似于

/bin/docker-image-tool.sh-r docker.io/myrepo-t v2.3.0-p kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

---

如果您正在使用minikube，那么构建映像将直接进入minikube的Docker守护进程。无需将映像推入minikube。在这种情况下，当在minikube集群内运行应用程序时，它们将自动可用。

该示例使用pyspark/spark py:my标记作为容器映像，该容器映像应该存在，由于不存在此错误，您将得到图像拉取错误。您可以将图像推送到dockerhub或您的私有注册表，并将其用作

example.com/repo/spark:v1.0.0

，其中example.com是您的私有注册表，repo是您的存储库

另外，当您运行

/bin/docker-image-tool.sh-r-t my tag build

时，您需要指定一个repo。您的命令应该类似于

/bin/docker-image-tool.sh-r docker.io/myrepo-t v2.3.0-p kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

---

如果您正在使用minikube，那么构建映像将直接进入minikube的Docker守护进程。无需将映像推入minikube。在这种情况下，当在minikube集群内运行应用程序时，它们将自动可用。

此映像pyspark/spark py:my tag pushed在哪里？我不知道。这是我的另一个问题。我不知道它在哪里。这张图片在哪里？我的标签按下了？我不知道。这是我的另一个问题。我不知道它住在哪里。