Hadoop 在哪些类型的用例中,MapReduce优于Spark?
我刚刚参加了一个关于Spark的介绍性课程,问演讲者Spark是否可以完全取代MapReduce,并被告知Spark可以用于任何用例中的MapReduce的替换,但是有一些特定的用例MapReduce实际上比Spark快 MapReduce可以比Spark更快地解决的用例有哪些特点?请原谅,但是:Hadoop 在哪些类型的用例中,MapReduce优于Spark?,hadoop,mapreduce,apache-spark,Hadoop,Mapreduce,Apache Spark,我刚刚参加了一个关于Spark的介绍性课程,问演讲者Spark是否可以完全取代MapReduce,并被告知Spark可以用于任何用例中的MapReduce的替换,但是有一些特定的用例MapReduce实际上比Spark快 MapReduce可以比Spark更快地解决的用例有哪些特点?请原谅,但是: 对于数据并行、一次通过、类似ETL的作业,MapReduce的设计目标是,与Spark等效作业相比,MapReduce的重量更轻 Spark已经相当成熟了,现在的纱线也是如此,但Spark on纱线
- 对于数据并行、一次通过、类似ETL的作业,MapReduce的设计目标是,与Spark等效作业相比,MapReduce的重量更轻
- Spark已经相当成熟了,现在的纱线也是如此,但Spark on纱线仍然是相当新的。两者可能尚未实现最佳整合。例如,直到最近,我还不认为Spark可以要求纱线根据芯数进行分配?也就是说:MapReduce可能更容易理解、管理和调优
multipleoutput
这样的东西也没有非常直接的类比