Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在ApacheSpark中,同一阶段的任务是否同时工作?_Apache Spark_Stage - Fatal编程技术网

Apache spark 在ApacheSpark中,同一阶段的任务是否同时工作?

Apache spark 在ApacheSpark中,同一阶段的任务是否同时工作?,apache-spark,stage,Apache Spark,Stage,同一阶段的任务是否同时工作?如果是这样,阶段中分区之间的线指的是什么 这里有一个很好的链接供您阅读。这就详细地解释了DAG和其他一些可能感兴趣的事情 我可以试着解释。创建每个阶段时,它都有一组划分的任务。当遇到操作时。驱动程序将任务发送给执行者。根据数据的分区方式,对分布式集群中的数据调用N个任务。所以你看到的箭头是执行计划。在读取文件之前,它不能执行映射功能。每个具有一些数据的节点将按照DAG提供的顺序执行这些任务。每个阶段都转换为整个任务。根据有多少数据分区,一个阶段将有多个执行。但只要阶段

同一阶段的任务是否同时工作?如果是这样,阶段中分区之间的线指的是什么

这里有一个很好的链接供您阅读。这就详细地解释了DAG和其他一些可能感兴趣的事情


我可以试着解释。创建每个阶段时,它都有一组划分的任务。当遇到操作时。驱动程序将任务发送给执行者。根据数据的分区方式,对分布式集群中的数据调用N个任务。所以你看到的箭头是执行计划。在读取文件之前,它不能执行映射功能。每个具有一些数据的节点将按照DAG提供的顺序执行这些任务。

每个阶段都转换为整个任务。根据有多少数据分区,一个阶段将有多个执行。但只要阶段内的任务是连续的