Mapreduce 在非并行问题上运行Map/Reduce?

Mapreduce 在非并行问题上运行Map/Reduce?,mapreduce,Mapreduce,我读了很多关于Map Reduce的书,我有一个问题似乎找不到答案: 你能在非并行问题上运行Map/Reduce吗 当然可以。有很多应用程序可以使用MapReduce框架运行某些东西。例如Qubole。如果您提交简单的shell命令,如“java-version”,Qubole将启动MapReduce作业,并在mapper上运行您的命令。你自己检查一下在这种情况下,map reduce框架可以减少资源管理、任务协调、重试、日志记录、监视状态等方面的麻烦。 同样,如果您尝试使用--m1参数执行s

我读了很多关于Map Reduce的书,我有一个问题似乎找不到答案:

  • 你能在非并行问题上运行Map/Reduce吗

    • 当然可以。有很多应用程序可以使用MapReduce框架运行某些东西。例如
      Qubole
      。如果您提交简单的shell命令,如
      “java-version”
      Qubole
      将启动MapReduce作业,并在mapper上运行您的命令。你自己检查一下在这种情况下,map reduce框架可以减少资源管理、任务协调、重试、日志记录、监视状态等方面的麻烦。

      同样,如果您尝试使用--m1参数执行
      sqoop import
      ,它将查询源数据库并使用单个映射器将数据加载到hdfs中,而不进行拆分。在这种情况下,MapReduce无助于并行化,但它将决定在何处运行它、重试、记录等,您可以使用相同的hadoop作业或线程命令终止作业