Java 如何在IntelliJ IDEA中为Hadoop程序设置多个还原器?
我正在Ubuntu 14.04中使用IntelliJ IDEA测试我的hadoop程序。更改减速器的数量时,我使用以下代码:Java 如何在IntelliJ IDEA中为Hadoop程序设置多个还原器?,java,maven,hadoop,intellij-idea,Java,Maven,Hadoop,Intellij Idea,我正在Ubuntu 14.04中使用IntelliJ IDEA测试我的hadoop程序。更改减速器的数量时,我使用以下代码: job.setNumReduceTasks(3) 我在IDEA中使用buildartifacts构建jar文件,并在linux shell中输入hadoop jar xxx.jar MyClass输入输出。输出显示了3个文件(part-r-00000,part-r-00001,part-r-00002),这完全是我的期望。但是,为了方便起见,当我在IDEA中使用参数inp
job.setNumReduceTasks(3)
我在IDEA中使用
buildartifacts
构建jar文件,并在linux shell中输入hadoop jar xxx.jar MyClass输入输出。输出显示了3个文件(part-r-00000
,part-r-00001
,part-r-00002
),这完全是我的期望。但是,为了方便起见,当我在IDEA中使用参数input/output/
运行程序时,输出结果只包含一个文件part-r-00000
。所以我想知道哪里出了问题 在本地模式下运行时,只会使用一个减速器-本地模式下没有并行性。这里的代码没有问题
另见:
独立操作
默认情况下,Hadoop被配置为以非分布式模式作为单个Java进程运行。这对于调试很有用
它真的出错了吗?比如说,它是从想法出发的吗?如果是这样,我会说没问题,对吧?否则,你能详细说明出了什么问题吗?