Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark mapPartition与map有何不同？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark mapPartition与map有何不同？

Apache spark mapPartition与map有何不同？

apache-spark

Apache spark mapPartition与map有何不同？,apache-spark,Apache Spark,我知道什么是mapPartition转换和map。一些post声称mapPartition比map快。在什么情况下我们使用mapPartition而不是map？mapPartition比map快吗？方法map通过应用函数将源RDD的每个元素转换为结果RDD的单个元素。mapPartitions将源RDD的每个分区转换为结果的多个元素（可能没有） 这里已经给出了答案：

我知道什么是mapPartition转换和map。一些post声称mapPartition比map快。在什么情况下我们使用mapPartition而不是map？mapPartition比map快吗？

方法map通过应用函数将源RDD的每个元素转换为结果RDD的单个元素。mapPartitions将源RDD的每个分区转换为结果的多个元素（可能没有）

这里已经给出了答案：