hadoop map reduce与番石榴不兼容
我正在尝试在hadoop中运行简单的map reduce示例,这是我的主要程序:hadoop map reduce与番石榴不兼容,hadoop,mapreduce,guava,Hadoop,Mapreduce,Guava,我正在尝试在hadoop中运行简单的map reduce示例,这是我的主要程序: Configuration configuration = new Configuration(); Job job = new Job(configuration, "conf"); job.setMapperClass(MapClass.class); int numreducers = 1; job.setNumReduceTasks(numreducers);
Configuration configuration = new Configuration();
Job job = new Job(configuration, "conf");
job.setMapperClass(MapClass.class);
int numreducers = 1;
job.setNumReduceTasks(numreducers);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job, new Path("/user/www/input"));
FileOutputFormat.setOutputPath(job, new Path("/user/www/output/"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
我正在使用这些库hadoop-2.0.0和guava 14.0.1,该程序给出了一个例外:
Exception in thread "main" java.lang.IncompatibleClassChangeError: class com.google.common.cache.CacheBuilder$3 has interface com.google.common.base.Ticker as super class
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:791)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
at com.google.common.cache.CacheBuilder.<clinit>(CacheBuilder.java:190)
at org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:46)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:456)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:410)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:128)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2308)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:87)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2342)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2324)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:351)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:163)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:335)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:194)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.addInputPath(FileInputFormat.java:368)
线程“main”java.lang.CompatibileClassChangeError中的异常:class com.google.common.cache.CacheBuilder$3将接口com.google.common.base.Ticker作为超级类
位于java.lang.ClassLoader.defineClass1(本机方法)
位于java.lang.ClassLoader.defineClass(ClassLoader.java:791)
位于java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
位于java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
在java.net.URLClassLoader.access$100(URLClassLoader.java:71)
在java.net.URLClassLoader$1.run(URLClassLoader.java:361)
在java.net.URLClassLoader$1.run(URLClassLoader.java:355)
位于java.security.AccessController.doPrivileged(本机方法)
位于java.net.URLClassLoader.findClass(URLClassLoader.java:354)
位于java.lang.ClassLoader.loadClass(ClassLoader.java:423)
位于sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
位于java.lang.ClassLoader.loadClass(ClassLoader.java:356)
在com.google.common.cache.CacheBuilder上(CacheBuilder.java:190)
位于org.apache.hadoop.hdfs.DomainSocketFactory.(DomainSocketFactory.java:46)
位于org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:456)
位于org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:410)
位于org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:128)
位于org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2308)
位于org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:87)
位于org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2342)
位于org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2324)
位于org.apache.hadoop.fs.FileSystem.get(FileSystem.java:351)
位于org.apache.hadoop.fs.FileSystem.get(FileSystem.java:163)
位于org.apache.hadoop.fs.FileSystem.get(FileSystem.java:335)
位于org.apache.hadoop.fs.Path.getFileSystem(Path.java:194)
位于org.apache.hadoop.mapreduce.lib.input.FileInputFormat.addInputPath(FileInputFormat.java:368)
这似乎是库版本不匹配的问题。。如何修复它。检查此链接可能会帮助您- 而且,如果它不能解决问题,可能是类路径中有多余的番石榴罐子,导致了这个异常
您能提供hadoop lib目录中的文件列表吗?您能使用guava 11.0.2而不是14.0.1吗?使用guava 11.0.2进行尝试也不会出现相同的异常。您能在运行时检查guava版本吗?这将帮助您获得正在使用的类路径。然后可以将类路径粘贴到这里。