Java 为什么火花会杀死任务?
我正在运行一个spark计算应用程序,我经常遇到一些任务终止的问题。以下是我的spark控制台中的外观:Java 为什么火花会杀死任务?,java,scala,apache-spark,Java,Scala,Apache Spark,我正在运行一个spark计算应用程序,我经常遇到一些任务终止的问题。以下是我的spark控制台中的外观: 如图所示,有些作业具有此描述(\u num\uukilled:另一次尝试成功)。这不仅仅是失败,这是另一回事。有人能解释一下是什么吗?如果一项任务似乎需要很长时间才能完成,Spark可能会启动该任务的额外副本,以防他们能更快完成。这被称为投机或投机执行。如果一个副本成功,其他副本可能会被杀死 请参见以spark.Projection开头的参数:已杀死-这意味着该执行者被停止并要求杀死该执行
如图所示,有些作业具有此描述(
\u num\uukilled:另一次尝试成功
)。这不仅仅是失败,这是另一回事。有人能解释一下是什么吗?如果一项任务似乎需要很长时间才能完成,Spark可能会启动该任务的额外副本,以防他们能更快完成。这被称为投机或投机执行。如果一个副本成功,其他副本可能会被杀死
请参见以
spark.Projection
开头的参数:已杀死-这意味着该执行者被停止并要求杀死该执行者的工作人员杀死。这种情况可能是由于许多原因造成的,如某些用户驱动的操作,或者可能是您的执行器已完成处理,但由于某些原因,它不存在,但工作进程正在退出,因此需要终止执行器。处理过程中出现异常、内存不足、其他硬件问题、计算时间过长+推测工作