Hadoop 安装Spark群集，配置单元出现问题

我正试图获得火花/鲨鱼集群，但一直遇到同样的问题。 我已按照说明在蜂箱上进行了操作，并按照说明对蜂箱进行了寻址

我认为Shark驱动程序正在使用另一个版本的Hadoop jars，但我不确定为什么

这里是细节，任何帮助都会很好

火花/鲨鱼0.9.0

Apache Hadoop 2.3.0

Amplabs Hive 0.11

Scala 2.10.3

爪哇7

我已安装了所有设备，但收到了一些弃用警告，然后出现了一个异常：

14/03/14 11:24:47信息配置。不推荐使用：mapred.input.dir.recursive不推荐使用。相反，请使用mapreduce.input.fileinputformat.input.dir.recursive

14/03/14 11:24:47信息配置。不推荐使用：mapred.max.split.size不推荐使用。相反，请使用mapreduce.input.fileinputformat.split.maxsize

例外情况：

Exception in thread "main" org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
    at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1072)
    at shark.memstore2.TableRecovery$.reloadRdds(TableRecovery.scala:49)
    at shark.SharkCliDriver.<init>(SharkCliDriver.scala:275)
    at shark.SharkCliDriver$.main(SharkCliDriver.scala:162)
    at shark.SharkCliDriver.main(SharkCliDriver.scala)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
    at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1139)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:51)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:61)
    at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2288)
    at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2299)
    at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1070)
    ... 4 more
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1137)
    ... 9 more
Caused by: java.lang.UnsupportedOperationException: Not implemented by the DistributedFileSystem FileSystem implementation

线程“main”中的异常org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient
位于org.apache.hadoop.hive.ql.metadata.hive.getAllDatabases（hive.java:1072）
在shark.memstore2.TableRecovery$.reloardds（TableRecovery.scala:49）
在shark。SharkCliDriver。（SharkCliDriver。scala:275）
shark.SharkCliDriver$.main（SharkCliDriver.scala:162）
在shark.SharkCliDriver.main（SharkCliDriver.scala）
原因：java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient
位于org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1139）
位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient。（RetryingMetaStoreClient.java:51）
位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:61）
位于org.apache.hadoop.hive.ql.metadata.hive.createMetaStoreClient（hive.java:2288）
位于org.apache.hadoop.hive.ql.metadata.hive.getMSC（hive.java:2299）
位于org.apache.hadoop.hive.ql.metadata.hive.getAllDatabases（hive.java:1070）
... 4更多
原因：java.lang.reflect.InvocationTargetException
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:57）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:526）
位于org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1137）
... 9更多
原因：java.lang.UnsupportedOperationException:未由DistributedFileSystem文件系统实现实现

我也遇到了同样的问题，我认为这是由hadoop/hive和spark/shark的不兼容版本造成的

您需要：

• 从

  shark/lib_managed/jars/org.apache.hadoop/hadoop-core/

• 构建shark时，显式设置

  shark\u HADOOP\u VERSION

  ，如下所示：

  cd shark;
  SHARK_HADOOP_VERSION=2.0.0-mr1-cdh4.5.0 ./sbt/sbt clean
  SHARK_HADOOP_VERSION=2.0.0-mr1-cdh4.5.0 ./sbt/sbt package
  

---

第二种方法也为我解决了其他问题。您还可以查看此主题以了解更多详细信息：

请提供您的hive-env.sh、hive-site.xml、spark-env.sh、shark-env.sh和HADOOP\u类路径