Mapreduce 在非并行问题上运行Map/Reduce?
我读了很多关于Map Reduce的书,我有一个问题似乎找不到答案:Mapreduce 在非并行问题上运行Map/Reduce?,mapreduce,Mapreduce,我读了很多关于Map Reduce的书,我有一个问题似乎找不到答案: 你能在非并行问题上运行Map/Reduce吗 当然可以。有很多应用程序可以使用MapReduce框架运行某些东西。例如Qubole。如果您提交简单的shell命令,如“java-version”,Qubole将启动MapReduce作业,并在mapper上运行您的命令。你自己检查一下在这种情况下,map reduce框架可以减少资源管理、任务协调、重试、日志记录、监视状态等方面的麻烦。 同样,如果您尝试使用--m1参数执行s
- 你能在非并行问题上运行Map/Reduce吗
- 当然可以。有很多应用程序可以使用MapReduce框架运行某些东西。例如
Qubole
。如果您提交简单的shell命令,如“java-version”
,Qubole
将启动MapReduce作业,并在mapper上运行您的命令。你自己检查一下在这种情况下,map reduce框架可以减少资源管理、任务协调、重试、日志记录、监视状态等方面的麻烦。
同样,如果您尝试使用--m1参数执行sqoop import
,它将查询源数据库并使用单个映射器将数据加载到hdfs中,而不进行拆分。在这种情况下,MapReduce无助于并行化,但它将决定在何处运行它、重试、记录等,您可以使用相同的hadoop作业或线程命令终止作业