Apache spark Spark 1.0.1安装错误
我在spark 1.0.1安装[EMR]时一直面临此错误 Hadoop版本:2.2 火花:1.0.1 错误 14/10/21 06:58:11警告util.NativeCodeLoader:java.library.path中没有hadoop java.lang.UnsatifiedLink错误:java.library.path中没有hadoop 我试过了,但还是失败了 ./sparkshell-Djava.library.path=/home/hadoop/share/hadoop/commonApache spark Spark 1.0.1安装错误,apache-spark,hadoop2,emr,Apache Spark,Hadoop2,Emr,我在spark 1.0.1安装[EMR]时一直面临此错误 Hadoop版本:2.2 火花:1.0.1 错误 14/10/21 06:58:11警告util.NativeCodeLoader:java.library.path中没有hadoop java.lang.UnsatifiedLink错误:java.library.path中没有hadoop 我试过了,但还是失败了 ./sparkshell-Djava.library.path=/home/hadoop/share/hadoop/comm
非常感谢您的任何建议……不要担心这个警告。你可以忽略它。如果您觉得不符合,可以将java.library.path指向$HADOOP_HOME/lib/native。我怀疑问题是由于早期的EMR构建造成的。请使用as安装中描述的最新版本进行尝试,自1.0.1以来,版本有了很大改进 我也这样做了…像Dspark.library.path=/home/hadoop/lib/native,但它仍然抛出相同的错误…使用-driver-java选项,例如./spark shell-driver-java options-Djava.library.path=${hadoop_home}/lib/native