Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何在IntelliJ IDEA中为Hadoop程序设置多个还原器?_Java_Maven_Hadoop_Intellij Idea - Fatal编程技术网

Java 如何在IntelliJ IDEA中为Hadoop程序设置多个还原器?

Java 如何在IntelliJ IDEA中为Hadoop程序设置多个还原器?,java,maven,hadoop,intellij-idea,Java,Maven,Hadoop,Intellij Idea,我正在Ubuntu 14.04中使用IntelliJ IDEA测试我的hadoop程序。更改减速器的数量时,我使用以下代码: job.setNumReduceTasks(3) 我在IDEA中使用buildartifacts构建jar文件,并在linux shell中输入hadoop jar xxx.jar MyClass输入输出。输出显示了3个文件(part-r-00000,part-r-00001,part-r-00002),这完全是我的期望。但是,为了方便起见,当我在IDEA中使用参数inp

我正在Ubuntu 14.04中使用IntelliJ IDEA测试我的hadoop程序。更改减速器的数量时,我使用以下代码:

job.setNumReduceTasks(3)


我在IDEA中使用
buildartifacts
构建jar文件,并在linux shell中输入
hadoop jar xxx.jar MyClass输入输出。输出显示了3个文件(
part-r-00000
part-r-00001
part-r-00002
),这完全是我的期望。但是,为了方便起见,当我在IDEA中使用参数
input/output/
运行程序时,输出结果只包含一个文件
part-r-00000
。所以我想知道哪里出了问题

在本地模式下运行时,只会使用一个减速器-本地模式下没有并行性。这里的代码没有问题

另见:

独立操作

默认情况下,Hadoop被配置为以非分布式模式作为单个Java进程运行。这对于调试很有用


它真的出错了吗?比如说,它是从想法出发的吗?如果是这样,我会说没问题,对吧?否则,你能详细说明出了什么问题吗?