Apache spark “人”是什么意思;“中期结果”;当谈论Hadoop、Spark和大数据时?
我正在努力学习更多关于大数据的知识,特别是关于利用Hadoop和Spark的知识。然而,我一直看到这个术语“中间结果”,我不太确定它指的是什么 例如,我读到“Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将这些结果保存在内存中。”我假设这是指Map Reduce之后的结果,但我不太确定Apache spark “人”是什么意思;“中期结果”;当谈论Hadoop、Spark和大数据时?,apache-spark,hadoop,mapreduce,Apache Spark,Hadoop,Mapreduce,我正在努力学习更多关于大数据的知识,特别是关于利用Hadoop和Spark的知识。然而,我一直看到这个术语“中间结果”,我不太确定它指的是什么 例如,我读到“Hadoop将中间结果写入计算机的存储磁盘,而Spark尽可能将这些结果保存在内存中。”我假设这是指Map Reduce之后的结果,但我不太确定 有人能更详细地介绍一下什么是“中间结果”,以及Spark和Hadoop之间的差异吗 在map阶段和reduce阶段之间,对正在处理的数据执行洗牌和排序操作,这是整个操作的中间步骤
有人能更详细地介绍一下什么是“中间结果”,以及Spark和Hadoop之间的差异吗 在map阶段和reduce阶段之间,对正在处理的数据执行洗牌和排序操作,这是整个操作的中间步骤