如何要求hive提供更详细的错误信息?

如何要求hive提供更详细的错误信息?,hive,Hive,当我运行hive时,它显示以下错误 [hadoop@a74f90aecdad tmp]$ hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:

当我运行
hive
时,它显示以下错误

[hadoop@a74f90aecdad tmp]$ hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
    at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
    at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
    at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
    at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
    at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
    at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
    at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
    at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:236)
[hadoop@a74f90aecdadtmp]$hive
SLF4J:类路径包含多个SLF4J绑定。
SLF4J:在[jar:file:/hive/lib/log4j-SLF4J-impl-2.10.0.jar!/org/SLF4J/impl/StaticLoggerBinder.class]中找到绑定
SLF4J:在[jar:file:/hadoop/share/hadoop/common/lib/SLF4J-log4j12-1.7.25.jar!/org/SLF4J/impl/StaticLoggerBinder.class]中找到绑定
SLF4J:参见http://www.slf4j.org/codes.html#multiple_bindings 我需要一个解释。
SLF4J:实际绑定的类型为[org.apache.logging.SLF4J.Log4jLoggerFactory]
线程“main”java.lang.NoSuchMethodError中出现异常:com.google.common.base.Premissions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
位于org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
位于org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
位于org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
位于org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
位于org.apache.hadoop.mapred.JobConf.(JobConf.java:448)
位于org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
位于org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:5099)
位于org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:97)
位于org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:81)
位于org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:699)
位于org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683)
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
位于sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中
位于java.lang.reflect.Method.invoke(Method.java:498)
位于org.apache.hadoop.util.RunJar.run(RunJar.java:323)
位于org.apache.hadoop.util.RunJar.main(RunJar.java:236)

这是什么意思?是否可以显示更多详细信息?

当使用一个版本的Jar编译程序并在同一个Jar的另一个版本(通常是旧版本)上执行时,会弹出此错误。 在这种情况下,Hadoop和Hive之间的GuavaJAR文件版本可能会发生冲突

步骤1:转到HADOOP\u安装目录/share/HADOOP/common/lib并检查guava.jar版本


步骤2:现在转到HIVE_安装_DIR/lib并将guava文件版本的HIVE与hadoop进行比较。如果它们不相同,请删除其中较旧的版本,并复制两者中较新的版本。

总结我对超级用户类似问题的回答:

Hadoop core在年更新了其Guava版本,该版本在Hadoop 3.0.4、3.1.3和3.2.1中发布

Hive3.1.2提供了自己的不兼容版本的Guava,不仅在
lib/Guava-*.jar
中,而且在
HiveExec-*.jar
中,它是一个“胖jar”,可以重新打包多个外部库。如果没有
Hive exec-*.jar
,Hive services/CLI就无法运行,这意味着我们不能仅仅删除
guava-*.jar来回避兼容性问题

目前,唯一的选择是:

  • 从最新的源代码构建配置单元,其中应包括解决
    Hive exec-*.jar
    问题,或
  • 使用Hadoop 3.0.3、3.2.0或3.1.2,即Hadoop-15960之前的最新版本。但是请注意,这些Hadoop版本中附带的Guava JAR有一个已知的漏洞

com.google.common.
表明您的版本与“番石榴”或“protobuf”罐子不匹配。可能是一个较旧的JAR首先出现在类路径中,在较旧的版本中,class
predictions
没有方法
checkArgument(String,Object)
。Edit>Hive无法控制这件事,这是JVM动态链接器中的低级错误——JVM不可能给您更多的“细节”。它只是声明它在其类路径中的JAR中找到了一个类
com.google.common.base.premissions
(假设Hive没有使用覆盖类路径的自定义类加载器)但是该类没有编译时的确切方法。请尝试了解如何为遗留
hive
fat客户端自动生成类路径——例如,遵循调用shell脚本调用shell脚本的shell脚本链,在找到实际命令之前,hadoop安装目录中库的正确路径是hadoop\u installation\u DIR/share/hadoop/common/lib@ShubhashishMishra是的,谢谢你纠正我。我会编辑它。我使用hadoop 3.2.1(带有guava-27.0-jre.jar listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar)和hive 3.1.2(带有guava-19.0.jar),我用guava-27.0-jre.jar替换guava-19.0.jar,但它仍然不起作用,线程“main”中的异常java.lang.RuntimeException:com.ctc.wstx.exc.WstxParsingException:非法字符实体:扩展字符(代码0x8位于[行,列,系统id]:[3215,96,“文件:/usr/src/hive/conf/hive site.xml”]@EdyeChan我的版本与您的版本几乎相同-hadoop 3.2.1(带有guava-27.0-jre.jar)-hive 2.3.6(带有guava-14.0.1.jar)我将guava-27.0-jre.jar从HADOOP\u INSTALLATION\u DIR/share/HADOOP/common/lib复制到HIVE\u INSTALLATION\u DIR/lib,解决了这个问题。我用HADOOP使用的guava版本更改了HIVE源代码pom.xml并重建了它。它对我有效。27.0-jre实际上,HIVE-22126的补丁不正确。需要进一步修复。