Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 齐柏林飞艇点燃库伯内特斯的火花_Apache Spark_Kubernetes_Apache Zeppelin - Fatal编程技术网

Apache spark 齐柏林飞艇点燃库伯内特斯的火花

Apache spark 齐柏林飞艇点燃库伯内特斯的火花,apache-spark,kubernetes,apache-zeppelin,Apache Spark,Kubernetes,Apache Zeppelin,我按照本指南在使用minikube设置的本地kubernetes集群中运行齐柏林飞艇容器 我能够设置齐柏林飞艇并在那里运行一些示例代码。我已经下载了spark 2.4.5和2.4.0源代码,并使用以下命令为kubernetes支持构建了它: ./build/mvn -Pkubernetes -DskipTests clean package spark建成后,我创建了一个docker容器,如本文所述: bin/docker-image-tool.sh -m -t 2.4.X build 我

我按照本指南在使用minikube设置的本地kubernetes集群中运行齐柏林飞艇容器

我能够设置齐柏林飞艇并在那里运行一些示例代码。我已经下载了spark 2.4.5和2.4.0源代码,并使用以下命令为kubernetes支持构建了它:

./build/mvn -Pkubernetes -DskipTests clean package
spark建成后,我创建了一个docker容器,如本文所述:

bin/docker-image-tool.sh -m -t 2.4.X build
我将齐柏林飞艇配置为使用由kubernetes支持构建的spark映像。上面的文章解释了spark解释器将自动配置kubernetes上的spark以客户端模式运行并运行作业

但每当我试图用spark运行任何parahgraph时,我都会收到以下错误

Exception in thread "main" java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local
我试着在齐柏林飞艇中将spark配置
spark.jars.ivy
设置为指向临时目录,但这也不起作用

我在这里发现了一个类似的问题:

但我似乎无法将spark配置为使用
spark.jars.ivy/tmp/.ivy
config运行。在构建spark时,我尝试使用spark defaults.conf构建spark,但这似乎也不起作用

对于这个问题,以及如何解决这个问题,我们非常困惑。如果您能提供任何指导,我们将不胜感激


谢谢

我也遇到了这个问题,但是我用来设置
spark.jars.ivy=/tmp/.ivy
的一个解决方法是将它设置为一个环境变量

在spark解释器设置中,添加以下属性:
spark\u SUBMIT\u OPTIONS
,并将其值设置为
--conf spark.jars.ivy=/tmp/.ivy

这将传递额外的选项来spark submit,您的工作将继续