Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark 1.0.1安装错误_Apache Spark_Hadoop2_Emr - Fatal编程技术网

Apache spark Spark 1.0.1安装错误

Apache spark Spark 1.0.1安装错误,apache-spark,hadoop2,emr,Apache Spark,Hadoop2,Emr,我在spark 1.0.1安装[EMR]时一直面临此错误 Hadoop版本:2.2 火花:1.0.1 错误 14/10/21 06:58:11警告util.NativeCodeLoader:java.library.path中没有hadoop java.lang.UnsatifiedLink错误:java.library.path中没有hadoop 我试过了,但还是失败了 ./sparkshell-Djava.library.path=/home/hadoop/share/hadoop/comm

我在spark 1.0.1安装[EMR]时一直面临此错误

Hadoop版本:2.2 火花:1.0.1

错误

14/10/21 06:58:11警告util.NativeCodeLoader:java.library.path中没有hadoop java.lang.UnsatifiedLink错误:java.library.path中没有hadoop

我试过了,但还是失败了

./sparkshell-Djava.library.path=/home/hadoop/share/hadoop/common


非常感谢您的任何建议……

不要担心这个警告。你可以忽略它。如果您觉得不符合,可以将java.library.path指向$HADOOP_HOME/lib/native。

我怀疑问题是由于早期的EMR构建造成的。请使用as安装中描述的最新版本进行尝试,自1.0.1以来,版本有了很大改进

我也这样做了…像Dspark.library.path=/home/hadoop/lib/native,但它仍然抛出相同的错误…使用-driver-java选项,例如./spark shell-driver-java options-Djava.library.path=${hadoop_home}/lib/native