Apache spark 齐柏林飞艇+;Spark&x2B;Kubernetes:让齐柏林飞艇作业在现有的Spark集群上运行
在k8s集群中。您如何配置齐柏林飞艇在现有的spark集群中运行spark作业,而不是旋转新吊舱? 我有一个k8s集群,我想和齐柏林飞艇一起运行Spark Spark使用官方的bitnami/Spark头盔图表(V3.0.0)部署。我有一个主人和两个工人舱运行良好,一切都很好 齐柏林飞艇与来自官方ApacheZeppelinGitHub的Apache spark 齐柏林飞艇+;Spark&x2B;Kubernetes:让齐柏林飞艇作业在现有的Spark集群上运行,apache-spark,kubernetes,apache-zeppelin,Apache Spark,Kubernetes,Apache Zeppelin,在k8s集群中。您如何配置齐柏林飞艇在现有的spark集群中运行spark作业,而不是旋转新吊舱? 我有一个k8s集群,我想和齐柏林飞艇一起运行Spark Spark使用官方的bitnami/Spark头盔图表(V3.0.0)部署。我有一个主人和两个工人舱运行良好,一切都很好 齐柏林飞艇与来自官方ApacheZeppelinGitHub的Zeppelin服务器.yaml一起部署 我构建了自己的齐柏林飞艇容器,没有对apache/zeppelin:0.9.0进行太多修改 短伪Dockerfile:
Zeppelin服务器.yaml
一起部署
我构建了自己的齐柏林飞艇容器,没有对apache/zeppelin:0.9.0进行太多修改
短伪Dockerfile:
FROM bitnami/spark:3.0.0 AS spark
FROM apache/zeppelin:0.9-0 AS Zeppelin
COPY --from spark /opt/btinami/spark/ /opt/bitnami/spark
RUN Install kubectl
END
我稍微修改了齐柏林飞艇服务器.yaml。(Image,imagePullSecret,将spark master设置为spark master的无头服务DNS)
现在我想让我的齐柏林飞艇任务在我现有的星火星团上运行——但没有成功
当我提交齐柏林飞艇的工作(为spark解释器)时,齐柏林飞艇启动了一个新的spark吊舱,并且只与这个吊舱一起工作。Spark解释器设置应该是这样的。spark主url已设置(spark://\:\
),spark主页也已设置
虽然这是一种甜蜜的行为,但这不是我想要的
我想要(我的问题是)的是:我希望我的齐柏林飞艇吊舱将spark作业提交给现有集群,而不是启动一个新吊舱。我很确定我必须设置一些config/env/which
,但我就是找不到
所以,我想问:有没有人知道如何在现有的spark集群上运行齐柏林飞艇spark作业?我认为设置spark master应该可以完成这项工作
问候
鲍勃过了一段时间后回答我自己 对于遇到相同问题的任何人:
zeppelin-server.yaml使用zeppelin server和zeppelin解释器映像,这些映像在dockerhub中不可用。为了建立这些图像,我们需要建立齐柏林飞艇的分布图像,但在我的例子中失败了。你能给我介绍一下K8s中的齐柏林飞艇吗。我可能会被完全卡住。