Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/346.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 为什么火花会杀死任务?_Java_Scala_Apache Spark - Fatal编程技术网

Java 为什么火花会杀死任务?

Java 为什么火花会杀死任务?,java,scala,apache-spark,Java,Scala,Apache Spark,我正在运行一个spark计算应用程序,我经常遇到一些任务终止的问题。以下是我的spark控制台中的外观: 如图所示,有些作业具有此描述(\u num\uukilled:另一次尝试成功)。这不仅仅是失败,这是另一回事。有人能解释一下是什么吗?如果一项任务似乎需要很长时间才能完成,Spark可能会启动该任务的额外副本,以防他们能更快完成。这被称为投机或投机执行。如果一个副本成功,其他副本可能会被杀死 请参见以spark.Projection开头的参数:已杀死-这意味着该执行者被停止并要求杀死该执行

我正在运行一个spark计算应用程序,我经常遇到一些任务终止的问题。以下是我的spark控制台中的外观:


如图所示,有些作业具有此描述(
\u num\uukilled:另一次尝试成功
)。这不仅仅是失败,这是另一回事。有人能解释一下是什么吗?

如果一项任务似乎需要很长时间才能完成,Spark可能会启动该任务的额外副本,以防他们能更快完成。这被称为投机或投机执行。如果一个副本成功,其他副本可能会被杀死


请参见以
spark.Projection
开头的参数:

已杀死-这意味着该执行者被停止并要求杀死该执行者的工作人员杀死。这种情况可能是由于许多原因造成的,如某些用户驱动的操作,或者可能是您的执行器已完成处理,但由于某些原因,它不存在,但工作进程正在退出,因此需要终止执行器。

处理过程中出现异常、内存不足、其他硬件问题、计算时间过长+推测工作