MiniDFSCluster提供ioexception_Exception_Testing_Junit_Hadoop

MiniDFSCluster提供ioexception

exception testing junit hadoop

MiniDFSCluster提供ioexception,exception,testing,junit,hadoop,Exception,Testing,Junit,Hadoop,我正在尝试用hadoop进行测试。将代码设置为： System.setProperty（“test.build.data”，“/folder”）； config=新配置（）； cluster=newminidfscluster（配置，1，true，null）但在新的MiniDFSCluster（config，1，true，null）中，它抛出异常： java.io.IOException: Cannot run program "du": CreateProcess error=2, The

我正在尝试用hadoop进行测试。将代码设置为： System.setProperty（“test.build.data”，“/folder”）； config=新配置（）； cluster=newminidfscluster（配置，1，true，null）

但在新的MiniDFSCluster（config，1，true，null）中，它抛出异常：

java.io.IOException: Cannot run program "du": CreateProcess error=2, The system cannot find the file specified.
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:470)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:149)
    at org.apache.hadoop.util.Shell.run(Shell.java:134)
    at org.apache.hadoop.fs.DU.<init>(DU.java:53)
    at org.apache.hadoop.fs.DU.<init>(DU.java:63)
    at org.apache.hadoop.hdfs.server.datanode.FSDataset$FSVolume.<init>(FSDataset.java:333)
    at org.apache.hadoop.hdfs.server.datanode.FSDataset.<init>(FSDataset.java:689)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:302)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:216)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238)
    at org.apache.hadoop.hdfs.MiniDFSCluster.startDataNodes(MiniDFSCluster.java:417)
    at org.apache.hadoop.hdfs.MiniDFSCluster.<init>(MiniDFSCluster.java:280)
    at org.apache.hadoop.hdfs.MiniDFSCluster.<init>(MiniDFSCluster.java:124)
    at ebay.Crawler.TestAll.testinit(TestAll.java:53)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:37)
    at java.lang.reflect.Method.invoke(Method.java:599)
    at junit.framework.TestCase.runTest(TestCase.java:168)
    at junit.framework.TestCase.runBare(TestCase.java:134)
    at junit.framework.TestResult$1.protect(TestResult.java:110)
    at junit.framework.TestResult.runProtected(TestResult.java:128)
    at junit.framework.TestResult.run(TestResult.java:113)
    at junit.framework.TestCase.run(TestCase.java:124)
    at junit.framework.TestSuite.runTest(TestSuite.java:232)
    at junit.framework.TestSuite.run(TestSuite.java:227)
    at org.junit.internal.runners.JUnit38ClassRunner.run(JUnit38ClassRunner.java:81)
    at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:49)
    at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)
Caused by: java.io.IOException: CreateProcess error=2, The system cannot find the file specified.
    at java.lang.ProcessImpl.<init>(ProcessImpl.java:92)
    at java.lang.ProcessImpl.start(ProcessImpl.java:41)
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:463)
    ... 33 more

java.io.IOException:无法运行程序“du”：CreateProcess error=2，系统找不到指定的文件。
位于java.lang.ProcessBuilder.start（ProcessBuilder.java:470）
位于org.apache.hadoop.util.Shell.runCommand（Shell.java:149）
位于org.apache.hadoop.util.Shell.run（Shell.java:134）
位于org.apache.hadoop.fs.DU（DU.java:53）
位于org.apache.hadoop.fs.DU（DU.java:63）
位于org.apache.hadoop.hdfs.server.datanode.FSDataset$FSVolume。（FSDataset.java:333）
位于org.apache.hadoop.hdfs.server.datanode.FSDataset.（FSDataset.java:689）
位于org.apache.hadoop.hdfs.server.datanode.datanode.startDataNode（datanode.java:302）
位于org.apache.hadoop.hdfs.server.datanode.datanode.（datanode.java:216）
位于org.apache.hadoop.hdfs.server.datanode.datanode.makeInstance（datanode.java:1283）
位于org.apache.hadoop.hdfs.server.datanode.datanode.InstanceDataNode（datanode.java:1238）
位于org.apache.hadoop.hdfs.MiniDFSCluster.startDataNodes（MiniDFSCluster.java:417）
位于org.apache.hadoop.hdfs.MiniDFSCluster.（MiniDFSCluster.java:280）
位于org.apache.hadoop.hdfs.MiniDFSCluster.（MiniDFSCluster.java:124）
在ebay.Crawler.TestAll.testinit（TestAll.java:53）上
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:39）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:37）中
位于java.lang.reflect.Method.invoke（Method.java:599）
位于junit.framework.TestCase.runTest（TestCase.java:168）
位于junit.framework.TestCase.runBare（TestCase.java:134）
位于junit.framework.TestResult$1.protect（TestResult.java:110）
位于junit.framework.TestResult.runProtected（TestResult.java:128）
运行（TestResult.java:113）
运行（TestCase.java:124）
位于junit.framework.TestSuite.runTest（TestSuite.java:232）
运行（TestSuite.java:227）
位于org.junit.internal.runners.JUnit38ClassRunner.run（JUnit38ClassRunner.java:81）
位于org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run（JUnit4TestReference.java:49）
位于org.eclipse.jdt.internal.junit.runner.TestExecution.run（TestExecution.java:38）
位于org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests（RemoteTestRunner.java:467）
位于org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests（RemoteTestRunner.java:683）
位于org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run（RemoteTestRunner.java:390）
位于org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main（RemoteTestRunner.java:197）
原因：java.io.IOException:CreateProcess error=2，系统找不到指定的文件。
位于java.lang.ProcessImpl。（ProcessImpl.java:92）
在java.lang.ProcessImpl.start（ProcessImpl.java:41）
位于java.lang.ProcessBuilder.start（ProcessBuilder.java:463）
... 33多

有人能告诉我怎么解决这个问题吗？

非常感谢。

看起来该命令不在系统上或路径中。如果在Windows上使用Hadoop，则必须安装。无论如何，

哪个du

将给出

du

二进制文件的位置。

我怀疑您使用的是Hadoop的Cloudera发行版。“香草”Hadoop的1.0.0版在Windows上可以工作——至少创建和写入文件可以

如果需要在本地Windows环境中运行单元测试，请尝试使用Maven profile属性在本地Maven配置中设置

1.0.0

的版本，并在POM中指定“远程”配置。全局设置将覆盖POM特定的设置

settings.xml

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
  <profiles>
    <profile>
        <id>windows</id>
          <properties>
            <hadoop.version>1.0.0</hadoop.version>
          </properties>
    </profile>
  </profiles>
  <activeProfiles>
    <activeProfile>windows</activeProfile>
  </activeProfiles>
</settings>


窗户
1.0.0
窗户

pom.xml

<properties>
    <hadoop.version>0.20.2-cdh3u2</hadoop.version>
</properties>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>${hadoop.version}</version>
</dependency>


0.20.2-cdh3u2
org.apache.hadoop
hadoop内核
${hadoop.version}

非常感谢。那是因为cygwin不合适^^