Apache spark 齐柏林飞艇+;Spark&x2B;Kubernetes:让齐柏林飞艇作业在现有的Spark集群上运行

Apache spark 齐柏林飞艇+;Spark&x2B;Kubernetes:让齐柏林飞艇作业在现有的Spark集群上运行,apache-spark,kubernetes,apache-zeppelin,Apache Spark,Kubernetes,Apache Zeppelin,在k8s集群中。您如何配置齐柏林飞艇在现有的spark集群中运行spark作业,而不是旋转新吊舱? 我有一个k8s集群,我想和齐柏林飞艇一起运行Spark Spark使用官方的bitnami/Spark头盔图表(V3.0.0)部署。我有一个主人和两个工人舱运行良好,一切都很好 齐柏林飞艇与来自官方ApacheZeppelinGitHub的Zeppelin服务器.yaml一起部署 我构建了自己的齐柏林飞艇容器,没有对apache/zeppelin:0.9.0进行太多修改 短伪Dockerfile:

在k8s集群中。您如何配置齐柏林飞艇在现有的spark集群中运行spark作业,而不是旋转新吊舱?

我有一个k8s集群,我想和齐柏林飞艇一起运行Spark

Spark使用官方的bitnami/Spark头盔图表(V3.0.0)部署。我有一个主人和两个工人舱运行良好,一切都很好

齐柏林飞艇与来自官方ApacheZeppelinGitHub的
Zeppelin服务器.yaml
一起部署

我构建了自己的齐柏林飞艇容器,没有对apache/zeppelin:0.9.0进行太多修改

短伪Dockerfile:

FROM bitnami/spark:3.0.0 AS spark 
FROM apache/zeppelin:0.9-0 AS Zeppelin 
COPY --from spark /opt/btinami/spark/ /opt/bitnami/spark  
RUN Install kubectl 
END
我稍微修改了齐柏林飞艇服务器.yaml。(Image,imagePullSecret,将spark master设置为spark master的无头服务DNS)

现在我想让我的齐柏林飞艇任务在我现有的星火星团上运行——但没有成功

当我提交齐柏林飞艇的工作(为spark解释器)时,齐柏林飞艇启动了一个新的spark吊舱,并且只与这个吊舱一起工作。Spark解释器设置应该是这样的。spark主url已设置(
spark://\:\
),spark主页也已设置

虽然这是一种甜蜜的行为,但这不是我想要的

我想要(我的问题是)的是:我希望我的齐柏林飞艇吊舱将spark作业提交给现有集群,而不是启动一个新吊舱。我很确定我必须设置一些
config/env/which
,但我就是找不到

所以,我想问:有没有人知道如何在现有的spark集群上运行齐柏林飞艇spark作业?我认为设置spark master应该可以完成这项工作

问候
鲍勃

过了一段时间后回答我自己

对于遇到相同问题的任何人:

  • 进入spark解释器设置

  • (可选,如果尚未获得属性)按“编辑”,向下滚动并添加属性SPARK\u SUBMIT\u选项

  • 编辑SPARK\u SUBMIT\u选项值并添加“--主SPARK://”

  • 保存设置并完成

  • 这让我大吃一惊,因为已经有一个选项可以设置spark master本身

    是什么解决了两次进入spark master的问题

  • 在键“master”下
  • 上面描述的编辑到SPARK_SUBMIT_选项

  • zeppelin-server.yaml使用zeppelin server和zeppelin解释器映像,这些映像在dockerhub中不可用。为了建立这些图像,我们需要建立齐柏林飞艇的分布图像,但在我的例子中失败了。你能给我介绍一下K8s中的齐柏林飞艇吗。我可能会被完全卡住。