Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 启动容器进程导致\“;执行官:\\\";驱动程序\\\";:在$PATH\";中找不到可执行文件\"; 我有基于spring的spark 2.3.0应用程序。我正在尝试在kubernetes(minikube)上进行spark提交。_Apache Spark_Docker_Spring Boot_Dockerfile_Minikube - Fatal编程技术网

Apache spark 启动容器进程导致\“;执行官:\\\";驱动程序\\\";:在$PATH\";中找不到可执行文件\"; 我有基于spring的spark 2.3.0应用程序。我正在尝试在kubernetes(minikube)上进行spark提交。

Apache spark 启动容器进程导致\“;执行官:\\\";驱动程序\\\";:在$PATH\";中找不到可执行文件\"; 我有基于spring的spark 2.3.0应用程序。我正在尝试在kubernetes(minikube)上进行spark提交。,apache-spark,docker,spring-boot,dockerfile,minikube,Apache Spark,Docker,Spring Boot,Dockerfile,Minikube,我有一个运行docker和minikube的虚拟盒子 opt/spark/bin/spark提交——主k8s://https://192.168.99.101:8443 --名称cfe2——部署模式集群——类com.yyy.Application——conf spark.executor.instances=1——conf spark.kubernetes.container.image=docker.io/anantpukale/spark_app:1.3local://CashFlow-sp

我有一个运行docker和minikube的虚拟盒子

opt/spark/bin/spark提交——主k8s://https://192.168.99.101:8443 --名称cfe2——部署模式集群——类com.yyy.Application——conf spark.executor.instances=1——conf spark.kubernetes.container.image=docker.io/anantpukale/spark_app:1.3local://CashFlow-spark2.3.0-shaded.jar

下面是堆栈跟踪: 下面是我的docker文件的图像。 错误跟踪表明docker中的某些内容是我用命令“docker”触发的。

在Dockerfile中使用
ENV PATH=“/opt/spark/bin:${PATH}”
而不是您的行。

您是否可以使用

#>docker run -it --rm docker.io/anantpukale/spark_app:1.3 sh
然后尝试运行要提交的主程序或命令。

基于此输出,我们可以尝试进一步调查。

以及@hichamx建议的更改,下面的代码对我克服了\“exec:\”驱动程序起到了作用\“问题<代码>spark提交--主k8s://http://127.0.0.1:8001 --名称cfe2——部署模式集群——类com.oracle.Test——conf spark.executor.instances=2——conf spark.kubernetes.container.image=docker/anantpukale/spark_app:1.1——conf spark.kubernetes.driver.container.image=docker.io/kubespark/spark driver:v2.2.0-kubernetes-0.5.0——confspark.kubernetes.executor.container.image=docker.io/kubespark/spark executor:v2.2.0-kubernetes-0.5.0local://spark-0.0.1-SNAPSHOT.jar尽管这给出了错误:退出代码:127,spark kubernetes驱动程序终止

我遇到了这个问题。它与docker图像入口点相关。在spark 2.3.0中,当使用Kubernetes时,现在有一个Dockerfile示例,它在Kubernetes/dockerfiles/中找到的入口点中使用特定脚本。如果docker映像未使用该特定脚本作为入口点,则容器无法正常启动

我按照你的建议更改了上面的命令。仍然存在相同的错误。是的,我可以用上面的命令在sh模式下在docker中完成并运行它。但这里我需要修改一下我的命令。早些时候,我正在以本地客户端模式向Kubernetes api服务器提交spark作业
/opt/spark/bin/spark submit--master local--name cfe2--deploy mode client--class com.oracle.Application--conf spark.executor.instances=1--conf spark.kubernetes.container.image=docker.io/anantpukale/spark_app:1.3 CashFlow-2.2.1-SNAPSHOT-shade.jar
我正在为kubernetes版本1.9.4使用minikube
#>docker run -it --rm docker.io/anantpukale/spark_app:1.3 sh