Hadoop HBase completebulkload返回异常

Hadoop HBase completebulkload返回异常,hadoop,mapreduce,hbase,guava,Hadoop,Mapreduce,Hbase,Guava,我正在尝试使用Hadoop文档中的批量加载方法,从文本文件(几GB)快速批量填充HBase表 我已经创建了一个HFile,现在我想将它推送到我的HBase表中 使用此命令时: hadoop jar /home/hxcaine/hadoop/lib/hbase.jar completebulkload /user/hxcaine/dbpopulate/output/cf1 my_hbase_table 作业开始,然后我得到以下异常: Exception in thread "main" java

我正在尝试使用Hadoop文档中的批量加载方法,从文本文件(几GB)快速批量填充HBase表

我已经创建了一个HFile,现在我想将它推送到我的HBase表中

使用此命令时:

hadoop jar /home/hxcaine/hadoop/lib/hbase.jar completebulkload /user/hxcaine/dbpopulate/output/cf1 my_hbase_table
作业开始,然后我得到以下异常:

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/util/concurrent/ThreadFactoryBuilder
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:195)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:696)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.main(LoadIncrementalHFiles.java:701)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
        at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:49)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
Caused by: java.lang.ClassNotFoundException: com.google.common.util.concurrent.ThreadFactoryBuilder
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
        ... 17 more
但是,我可以看到Guava jar在我的类路径中,当我检查jar内部时,我可以看到
ThreadFactoryBuilder.class

我正在使用这些版本(并坚持使用):

  • Hadoop 0.20.2-cdh3u3
  • HBase 0.90.4-cdh3u3
  • 番石榴酱:/usr/lib/hadoop-0.20/lib/Guava-r09-jar.jar
我的类路径中确实有一个较旧的番石榴罐,但我不知道它从哪里来,我认为它不应该有效果


有什么想法吗?

如果您运行:

export HADOOP_CLASSPATH=`hbase classpath`

在运行负载之前?从堆栈跟踪来看,一个实际任务似乎需要jar,尽管我很惊讶地看到这实际上启动了一个M/R作业。

如果运行:

export HADOOP_CLASSPATH=`hbase classpath`

在运行负载之前?从堆栈跟踪来看,一项实际任务似乎需要jar,尽管我很惊讶地看到这实际上启动了一项M/R作业。

你是一个救生员。否则我不会发现的,谢谢你!你是个救生员。否则我不会发现的,谢谢你!