Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么在Spark UI中我的任务成功率高于总任务数?_Apache Spark - Fatal编程技术网

Apache spark 为什么在Spark UI中我的任务成功率高于总任务数?

Apache spark 为什么在Spark UI中我的任务成功率高于总任务数?,apache-spark,Apache Spark,我原以为成功等于失败总数的正负 这些数字来自哪里 这些数字是否表示问题,或者它们是否有任何关系?第一个数字(3660)是成功任务的数量。第二个数字(1830)是阶段中的任务数。您的阶段运行了两次,因此成功的任务数是阶段中任务数的两倍 当多个后期阶段依赖于它们并且它们未被缓存或未被部分从缓存中逐出时,可以部分或全部重新执行阶段 另一种方法是使用推测执行,成功的任务数可以高于总任务数

我原以为成功等于失败总数的正负

这些数字来自哪里

这些数字是否表示问题,或者它们是否有任何关系?

第一个数字(3660)是成功任务的数量。第二个数字(1830)是阶段中的任务数。您的阶段运行了两次,因此成功的任务数是阶段中任务数的两倍

当多个后期阶段依赖于它们并且它们未被缓存或未被部分从缓存中逐出时,可以部分或全部重新执行阶段

另一种方法是使用推测执行,成功的任务数可以高于总任务数