Scala Spark驱动程序已死亡，但未终止应用程序_Scala_Apache Spark

Scala Spark驱动程序已死亡，但未终止应用程序

scala apache-spark

Scala Spark驱动程序已死亡，但未终止应用程序,scala,apache-spark,Scala,Apache Spark,我有一个流媒体作业，由于网络呼叫超时而失败。然而，应用程序会持续重试一段时间，如果在此期间我杀死了驱动程序，应用程序不会死掉。我必须通过UI手动终止应用程序我的问题是: 发生这种情况是因为网络连接在不同的线程上形成，并且不会让应用程序消亡吗？不要“杀死”spark作业的随机部分；他们重试是因为高可用性（sparks的关键功能之一）。如果你想干掉你的工作，你可以用纱线 yarn application -kill <APP_ID> 最后，您可以使用查看作业日志 yarn appli

我有一个流媒体作业，由于网络呼叫超时而失败。然而，应用程序会持续重试一段时间，如果在此期间我杀死了驱动程序，应用程序不会死掉。我必须通过UI手动终止应用程序

我的问题是: 发生这种情况是因为网络连接在不同的线程上形成，并且不会让应用程序消亡吗？

不要“杀死”spark作业的随机部分；他们重试是因为高可用性（sparks的关键功能之一）。如果你想干掉你的工作，你可以用纱线

yarn application -kill <APP_ID>

最后，您可以使用查看作业日志

yarn application -logs <APP_ID>

纱线应用-原木

yarn application -logs <APP_ID>