Apache spark Spark2.3的RESTAPI在kubernetes（版本1.8.*）集群上提交

我使用AWS上的kubernetes群集运行spark作业，我使用spark 2.3，现在我想从AWS lambda函数运行spark submit到k8s master，想知道是否有任何REST接口可以在k8s master上运行spark submit？

不幸的是，spark 2.3不可能运行，如果您使用的是本机kubernetes支持

根据部署说明中的描述，提交过程包含几个步骤：

• Spark创建在Kubernetes吊舱内运行的Spark驱动程序
• 驱动程序创建的执行器也在Kubernetes吊舱中运行

• 驱动程序连接到它们，并执行应用程序代码

当应用程序完成时，执行器吊舱终止并被清理，但驱动程序吊舱会保留其日志并在Kubernetes API中保持“已完成”状态，直到它最终被垃圾收集或手动清理

因此，事实上，在开始提交流程之前，您没有地方提交作业，该流程将为您启动第一个Spark的pod（驱动程序）。只有在应用程序完成后，所有内容才会终止

也请参见下面这个问题的类似答案