Apache spark 具有轮廓的自动进入

我正在使用

k8s

部署

spark

调用

spark submit

。我们使用

轮廓

作为我们的

入口类

。我想知道是否有方法为

spark driver

容器创建

入口

对象以公开spark UI。我想看看是否所有这些都可以在一个步骤中完成，这个过程可能是通过使用

注释

或

标签

。类似于s的东西，它使用

注释

来启用

入口

我想做的就是使用

spark submit

提交

spark

作业，并将spark UI公开。可以使用

--conf

等创建

入口

--conf spark.kubernetes.driver.annotation.prometheus.io/scrape=true \
--conf spark.kubernetes.executor.annotation.prometheus.io/scrape=true \
--conf spark.kubernetes.driver.annotation.prometheus.io/port=XXXXX \
--conf spark.kubernetes.executor.annotation.prometheus.io/port=XXXXX \

---

如果您有任何想法或看到过类似的示例，请告诉我。

您可以在提交Spark驱动程序后立即创建入口。使用Kubernetes客户端库，只需提供一个带有您选择的语言的脚本

为了在Spark Driver Pod Delete上配置自动进入删除/GC，您可以使用Spark Driver Pod

---

此外，您可能还想参考ApacheLivy项目及其相关内容，它们提供了一种解决Spark UI暴露问题的方法，以及在Kubernetes上运行Spark的其他一些方面。

谢谢Aliakasandra。我也是这么想的。我想看看是否还有其他方法可用