Hadoop小型集群模拟(小型集群)

Hadoop小型集群模拟(小型集群),hadoop,testing,mocking,sbt,hdfs,Hadoop,Testing,Mocking,Sbt,Hdfs,关于hadoop小型集群,我需要您的帮助 我正在使用scala(使用sbt),并尝试模拟HDF的调用。我在hadoop minicluster上部署了一个小集群并进行了测试 但是,当我添加sbt依赖项时: libraryDependencies+=“org.apache.hadoop”%“hadoop微型集群”%“3.1.0”%Test 未添加源,无法导入包org.apache.hadoop.hdfs.MiniDFSCluster 你知道我怎样才能解决这个问题吗 感谢您的回答令人惊讶的是,它不在

关于hadoop小型集群,我需要您的帮助

我正在使用scala(使用sbt),并尝试模拟HDF的调用。我在hadoop minicluster上部署了一个小集群并进行了测试

但是,当我添加sbt依赖项时:

libraryDependencies+=“org.apache.hadoop”%“hadoop微型集群”%“3.1.0”%Test

未添加源,无法导入包org.apache.hadoop.hdfs.MiniDFSCluster

你知道我怎样才能解决这个问题吗


感谢您的回答

令人惊讶的是,它不在hadoop小型集群中。 尝试 libraryDependencies+=“org.apache.hadoop”%”hadoop hdfs“%hadoop\u版本分类器”测试

您可能还必须排除某些组件,例如
“org.apache.hadoop”%”hadoop hdfs“%hadoop\u版本分类器”测试“排除”(“javax.servlet”、“servlet api”)

令人惊讶的是,它不在hadoop小型集群中。 尝试 libraryDependencies+=“org.apache.hadoop”%”hadoop hdfs“%hadoop\u版本分类器”测试

您可能还必须排除某些组件,例如
“org.apache.hadoop”%”hadoop hdfs“%hadoop\u版本分类器”测试“排除”(“javax.servlet”、“servlet api”)

非常感谢您的回答

因此,为了获取测试文件和源文件(例如DistributedFileSystem),我在我的sbt文件中使用这一行:

libraryDependencies+=“org.apache.hadoop”%“hadoop hdfs”%“3.1.0”%Test classifier“tests” libraryDependencies+=“org.apache.hadoop”%”hadoop通用“%”3.1.0“%Test classifier”测试

编译时需要Hadoop common

但是,在运行测试时,我还有一个问题:

An exception or error caused a run to abort: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.nativeio$Windows.access0(Ljava/lang/String;I)Z


我知道这是关于HADOOP_回家的,但我做到了,但什么也没发生。

非常感谢你的回答

因此,为了获取测试文件和源文件(例如DistributedFileSystem),我在我的sbt文件中使用这一行:

libraryDependencies+=“org.apache.hadoop”%“hadoop hdfs”%“3.1.0”%Test classifier“tests” libraryDependencies+=“org.apache.hadoop”%”hadoop通用“%”3.1.0“%Test classifier”测试

编译时需要Hadoop common

但是,在运行测试时,我还有一个问题:

An exception or error caused a run to abort: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.nativeio$Windows.access0(Ljava/lang/String;I)Z


我知道这是关于HADOOP_回家的,但我做到了,但什么也没发生。

这对我来说很有效,谢谢
libraryDependencies+=“org.apache.hadoop”%“hadoop hdfs”%“2.2.0”%Test classifier“tests”
我用hadoop 2.8.5这样做过,但找不到源代码。这对我很有效,谢谢<代码>libraryDependencies+=“org.apache.hadoop”%“hadoop hdfs”%“2.2.0”%Test classifier“tests”我在hadoop 2.8.5中尝试过这样做,但我无法获得源代码。我遇到了类似的问题,将
hadoop\u HOME/bin
添加到
PATH
变量解决了问题。我遇到了类似的问题,将
hadoop\u HOME/bin
添加到
PATH
变量解决了问题。