Apache spark 在库伯内特斯身上运行spark

我已经在我的k8s集群上安装了spark charts helm，我有3个吊舱运行1个master et 2 executos，但仍然能够提交spark作业。。。 在“提交应用程序”一节中，我们提到可以使用/bin/spark Submit--class org.apache.spark.examples.SparkPi--master spark://:--deploy mode cluster./examples/jars/spark-examples_2.11-2.4.3.jar 1000 但是从哪里来的？？从我们本地的机器？从内部火花主吊舱？

---

有什么帮助吗？

Bitnami工程师在这里，当您安装spark图表时，会出现以下行：

...
2. Submit an application to the cluster:

  To submit an application to the cluster the spark-submit script must be used. That script can be obtained at https://github.com/apache/spark/tree/master/bin. Also you can use kubectl run.

  export EXAMPLE_JAR=$(kubectl exec -ti --namespace default spark-worker-0 -- find examples/jars/ -name 'spark-example*\.jar' | tr -d '\r')

  kubectl exec -ti --namespace default spark-worker-0 -- spark-submit --master spark://spark-master-svc:7077 \
    --class org.apache.spark.examples.SparkPi \
    $EXAMPLE_JAR 5
...

---

谢谢你的重播！然而，我已经测试了你的解决方案，但仍然不适用于我。。。 嗯，我有一个虚拟机，我可以访问k8s集群。我将spark与helm一起安装在集群上，我让这些吊舱运行： 名称就绪状态重新启动老化 spark-master-0 1/1运行0 6d15h spark-worker-0 1/1运行0 6d15h spark-worker-1 1 1/1运行0 6d15小时

现在我只需要通过spark submit向k8s集群提交一个pyspark脚本（我的VM中的file.py） 我怎么做？

---

Soory，但这一点在bitnami文档中并不清楚…

您可以使用spark的文档来实现这一点，您已经有了一个Redis集群

我发现这个命令：

./bin/spark-submit \
   --master yarn \
   --deploy-mode cluster \
   wordByExample.py

在库伯内特斯，会有这样的情况：

kubectl exec -ti --namespace default spark-worker-0 -- spark-submit --master yarn --deploy-mode cluster wordByExample.py