Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark “人”是什么意思;“中期结果”;当谈论Hadoop、Spark和大数据时?_Apache Spark_Hadoop_Mapreduce - Fatal编程技术网

Apache spark “人”是什么意思;“中期结果”;当谈论Hadoop、Spark和大数据时?

Apache spark “人”是什么意思;“中期结果”;当谈论Hadoop、Spark和大数据时?,apache-spark,hadoop,mapreduce,Apache Spark,Hadoop,Mapreduce,我正在努力学习更多关于大数据的知识,特别是关于利用Hadoop和Spark的知识。然而,我一直看到这个术语“中间结果”,我不太确定它指的是什么 例如,我读到“Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将这些结果保存在内存中。”我假设这是指Map Reduce之后的结果,但我不太确定 有人能更详细地介绍一下什么是“中间结果”,以及Spark和Hadoop之间的差异吗 在map阶段和reduce阶段之间,对正在处理的数据执行洗牌和排序操作,这是整个操作的中间步骤

我正在努力学习更多关于大数据的知识,特别是关于利用Hadoop和Spark的知识。然而,我一直看到这个术语“中间结果”,我不太确定它指的是什么

例如,我读到“Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将这些结果保存在内存中。”我假设这是指Map Reduce之后的结果,但我不太确定


有人能更详细地介绍一下什么是“中间结果”,以及Spark和Hadoop之间的差异吗

在map阶段和reduce阶段之间,对正在处理的数据执行洗牌和排序操作,这是整个操作的中间步骤