Java 如果我通过spark submit向集群提交一个非spark jar,会发生什么?

Java 如果我通过spark submit向集群提交一个非spark jar,会发生什么?,java,apache-spark,Java,Apache Spark,不太清楚spark的全貌。假设我创建了一个普通的java jar,不涉及任何与spark相关的东西,没有sparksession,没有sparkcontext,没有rdd,没有dataset,那么如果我使用deply mode=cluster通过spark submit将其提交给spark cluster会发生什么 我写了一个简单的罐子,它只打印了一些线条,似乎它在我的玩具spark上工作得很好,我曾经认为这会导致一些错误,因为它不是spark应用程序 我想知道,当我提交到一个有许多节点的真实世

不太清楚spark的全貌。假设我创建了一个普通的java jar,不涉及任何与spark相关的东西,没有sparksession,没有sparkcontext,没有rdd,没有dataset,那么如果我使用deply mode=cluster通过spark submit将其提交给spark cluster会发生什么

我写了一个简单的罐子,它只打印了一些线条,似乎它在我的玩具spark上工作得很好,我曾经认为这会导致一些错误,因为它不是spark应用程序


我想知道,当我提交到一个有许多节点的真实世界的spark集群时,我是否能期望得到相同的结果

这可能取决于群集管理器和模式,但一般来说并不奇怪。Spark应用程序是一个普通的JVM应用程序,具有正常的
main
功能,它不实现特定的接口,缺少活动会话也不是问题。

这可能取决于集群管理器和模式,但通常并不奇怪。Spark应用程序是一个普通的JVM应用程序,具有正常的
main
功能,它不实现特定的接口,缺少活动会话也不是问题。

因此,当缺少活动会话时,是否仍会有一个驱动程序和多个执行器,或者只有驱动程序?Spark将启动您通过Spark submit请求的群集,并仅在驱动程序上运行代码。因此,当缺少活动会话时,是否仍有一个驱动程序和多个执行器,或者只有驱动程序?Spark将启动您通过Spark submit请求的群集,并仅在驱动程序上运行代码。