Apache spark 齐柏林飞艇点燃库伯内特斯的火花

我按照本指南在使用minikube设置的本地kubernetes集群中运行齐柏林飞艇容器

我能够设置齐柏林飞艇并在那里运行一些示例代码。我已经下载了spark 2.4.5和2.4.0源代码，并使用以下命令为kubernetes支持构建了它：

./build/mvn -Pkubernetes -DskipTests clean package

spark建成后，我创建了一个docker容器，如本文所述：

bin/docker-image-tool.sh -m -t 2.4.X build

我将齐柏林飞艇配置为使用由kubernetes支持构建的spark映像。上面的文章解释了spark解释器将自动配置kubernetes上的spark以客户端模式运行并运行作业

但每当我试图用spark运行任何parahgraph时，我都会收到以下错误

Exception in thread "main" java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local

我试着在齐柏林飞艇中将spark配置

spark.jars.ivy

设置为指向临时目录，但这也不起作用

我在这里发现了一个类似的问题：

但我似乎无法将spark配置为使用

spark.jars.ivy/tmp/.ivy

config运行。在构建spark时，我尝试使用spark defaults.conf构建spark，但这似乎也不起作用

对于这个问题，以及如何解决这个问题，我们非常困惑。如果您能提供任何指导，我们将不胜感激

---

谢谢

我也遇到了这个问题，但是我用来设置

spark.jars.ivy=/tmp/.ivy

的一个解决方法是将它设置为一个环境变量

在spark解释器设置中，添加以下属性：

spark\u SUBMIT\u OPTIONS

，并将其值设置为

--conf spark.jars.ivy=/tmp/.ivy

这将传递额外的选项来spark submit，您的工作将继续