Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop MapReduce如何处理本地文件系统?_Hadoop_Mapreduce_Hdfs - Fatal编程技术网

Hadoop MapReduce如何处理本地文件系统?

Hadoop MapReduce如何处理本地文件系统?,hadoop,mapreduce,hdfs,Hadoop,Mapreduce,Hdfs,如果输入/输出来自本地文件系统,MapReduce处理如何工作 MapReduce作业是否在Hadoop集群中异步执行? 如果是,这是如何发生的 在哪种情况下,我们真的需要使用这种方法吗 MapReduce在本地系统中的工作原理相同(mapper->reducer) (这只是效率问题,因为它在本地系统而不是集群中效率较低) 是的,MapReduce作业在Hadoop集群中异步执行(这取决于MapReduce程序中使用的调度器类型) 点击 在大多数情况下,这用于测试目的(在本地系统中运行mapre

如果输入/输出来自本地文件系统,MapReduce处理如何工作

MapReduce作业是否在Hadoop集群中异步执行? 如果是,这是如何发生的

在哪种情况下,我们真的需要使用这种方法吗

  • MapReduce在本地系统中的工作原理相同(mapper->reducer)

    (这只是效率问题,因为它在本地系统而不是集群中效率较低)

  • 是的,MapReduce作业在Hadoop集群中异步执行(这取决于MapReduce程序中使用的调度器类型)

    点击

  • 在大多数情况下,这用于测试目的(在本地系统中运行mapreduce程序)

  • MapReduce在本地系统中的工作原理相同(mapper->reducer)

    (这只是效率问题,因为它在本地系统而不是集群中效率较低)

  • 是的,MapReduce作业在Hadoop集群中异步执行(这取决于MapReduce程序中使用的调度器类型)

    点击

  • 在大多数情况下,这用于测试目的(在本地系统中运行mapreduce程序)


  • 使用什么方法?只有在测试一个小文件集时,从本地文件系统读取才有意义。在这种情况下,Hadoop并不是真正的necessary@cricket_007在哪种情况下,我们真的需要使用这种方法“Hadoop MapReduce jobs with Local File System on Cluster”?如果您有一个集群,您将永远不会使用本地文件系统。将数据放入HDFS中,然后进行处理it@cricket_007是的,谢谢您的时间。:)使用什么方法?只有在测试一个小文件集时,从本地文件系统读取才有意义。在这种情况下,Hadoop并不是真正的necessary@cricket_007在哪种情况下,我们真的需要使用这种方法“Hadoop MapReduce jobs with Local File System on Cluster”?如果您有一个集群,您将永远不会使用本地文件系统。将数据放入HDFS中,然后进行处理it@cricket_007是的,谢谢您的时间。:)谢谢你,安达尼。我会看的。谢谢你,安达尼。我会把它们都看一看。