Apache spark ApacheLivy0.5.0是否支持k8s上的spark？

我正在尝试在k8s上运行jupyter for spark

经过小小的实验：） 我发现

k8s不支持客户端模式

$ bin/spark-shell --master k8s://192.168.99.100:8443
...
...
Error: Client mode is currently not supported for Kubernetes.

那

spark shell无法在群集模式下运行

$ bin/spark-shell --master k8s://192.168.99.100:8443 --deploy-mode cluster
...
...
Error: Cluster deploy mode is not applicable to Spark shells.

所以我猜jupyter spark内核或齐柏林飞艇不会为k8s运行。（不确定）

作为解决办法，我正在考虑使用livy

ApacheLivy0.5.0是否支持k8s上的spark？ 如有任何关于建立spark cluster的建议，将不胜感激

---

另外，我试图使用GCP dataproc，但在丢失一次GCS共享笔记后（在7天的评估期间，没有任何关于原因的线索）。我确信这是我的错（可能是配置上的问题？），但在k8s中没有深入到深处：

您可以尝试定制livy-0.6.0： 我们需要一个项目解决方案来运行Kubernetes上的Spark，并修改Livy以达到这个目的。

---

您可以对Livy安装的掌舵图感兴趣：

您需要在齐柏林飞艇中提供spark master url。。如果spark使用k8s，您将拥有不同的主url。。试着提供这个。这可能会有帮助