Java Mac在Hadoop上执行Avro作业时出现的问题

我在MacOSX上工作。我在尝试运行hadoop作业时遇到以下异常，该作业在hadoop集群上使用Avro文件。我使用Java1.6，我使用的Snappy版本是1.0.4.1，它不是最后一个版本，但我无法更改它，因为其他部分可能会出现其他问题

堆栈跟踪如下所示：

java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.xerial.snappy.SnappyLoader.loadNativeLibrary(SnappyLoader.java:317)
    at org.xerial.snappy.SnappyLoader.load(SnappyLoader.java:219)
    at org.xerial.snappy.Snappy.<clinit>(Snappy.java:44)
    at org.apache.avro.file.SnappyCodec.decompress(SnappyCodec.java:58)
    at org.apache.avro.file.DataFileStream$DataBlock.decompressUsing(DataFileStream.java:343)
    at org.apache.avro.file.DataFileStream.hasNext(DataFileStream.java:199)
    at org.apache.avro.mapred.AvroRecordReader.next(AvroRecordReader.java:67)
    at org.apache.avro.mapred.AvroRecordReader.next(AvroRecordReader.java:34)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:210)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:195)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:393)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:327)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:263)
Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1758)
    at java.lang.Runtime.loadLibrary0(Runtime.java:823)
    at java.lang.System.loadLibrary(System.java:1045)
    at org.xerial.snappy.SnappyNativeLoader.loadLibrary(SnappyNativeLoader.java:52)
    ... 18 more
13/06/28 16:26:25 WARN mapred.LocalJobRunner: job_local_0001
org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null
    at org.xerial.snappy.SnappyLoader.load(SnappyLoader.java:229)
    at org.xerial.snappy.Snappy.<clinit>(Snappy.java:44)
    at org.apache.avro.file.SnappyCodec.decompress(SnappyCodec.java:58)
    at org.apache.avro.file.DataFileStream$DataBlock.decompressUsing(DataFileStream.java:343)
    at org.apache.avro.file.DataFileStream.hasNext(DataFileStream.java:199)
    at org.apache.avro.mapred.AvroRecordReader.next(AvroRecordReader.java:67)
    at org.apache.avro.mapred.AvroRecordReader.next(AvroRecordReader.java:34)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:210)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:195)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:393)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:327)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:263)
13/06/28 16:26:25 INFO mapred.JobClient:  map 0% reduce 0%
13/06/28 16:26:25 INFO mapred.JobClient: Job complete: job_local_0001
13/06/28 16:26:25 INFO mapred.JobClient: Counters: 0
13/06/28 16:26:25 INFO mapred.JobClient: Job Failed: NA
Exception in thread "main" java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1323)
    at net.reunify.socialmedia.NumberOfTweetsPerUser.run(NumberOfTweetsPerUser.java:105)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at net.reunify.socialmedia.NumberOfTweetsPerUser.main(NumberOfTweetsPerUser.java:120)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:208)

java.lang.reflect.InvocationTargetException
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:39）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:25）中
位于java.lang.reflect.Method.invoke（Method.java:597）
位于org.xerial.snappy.SnappyLoader.loadNativeLibrary（SnappyLoader.java:317）
位于org.xerial.snappy.SnappyLoader.load（SnappyLoader.java:219）
位于org.xerial.snappy.snappy.（snappy.java:44）
位于org.apache.avro.file.SnappyCodec.decompress（SnappyCodec.java:58）
位于org.apache.avro.file.DataFileStream$DataBlock.decompressUsing（DataFileStream.java:343）
位于org.apache.avro.file.DataFileStream.hasNext（DataFileStream.java:199）
位于org.apache.avro.mapred.AvroRecordReader.next（AvroRecordReader.java:67）
位于org.apache.avro.mapred.AvroRecordReader.next（AvroRecordReader.java:34）
位于org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext（MapTask.java:210）
位于org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next（MapTask.java:195）
位于org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:48）
位于org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:393）
位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:327）
位于org.apache.hadoop.mapred.LocalJobRunner$Job.run（LocalJobRunner.java:263）
原因：java.lang.UnsatifiedLink错误：java.library.path中没有snappyjava
位于java.lang.ClassLoader.loadLibrary（ClassLoader.java:1758）
位于java.lang.Runtime.loadLibrary0（Runtime.java:823）
位于java.lang.System.loadLibrary（System.java:1045）
位于org.xerial.snappy.SnappyNativeLoader.loadLibrary（SnappyNativeLoader.java:52）
... 还有18个
13/06/28 16:26:25警告映射。本地JobRunner:job\u local\u 0001
org.xerial.snappy.SnappyError:[未能加载\u本机\u库]null
位于org.xerial.snappy.SnappyLoader.load（SnappyLoader.java:229）
位于org.xerial.snappy.snappy.（snappy.java:44）
位于org.apache.avro.file.SnappyCodec.decompress（SnappyCodec.java:58）
位于org.apache.avro.file.DataFileStream$DataBlock.decompressUsing（DataFileStream.java:343）
位于org.apache.avro.file.DataFileStream.hasNext（DataFileStream.java:199）
位于org.apache.avro.mapred.AvroRecordReader.next（AvroRecordReader.java:67）
位于org.apache.avro.mapred.AvroRecordReader.next（AvroRecordReader.java:34）
位于org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext（MapTask.java:210）
位于org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next（MapTask.java:195）
位于org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:48）
位于org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:393）
位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:327）
位于org.apache.hadoop.mapred.LocalJobRunner$Job.run（LocalJobRunner.java:263）
13/06/28 16:26:25信息映射。作业客户端：映射0%减少0%
13/06/28 16:26:25信息映射。作业客户端：作业完成：作业\u本地\u 0001
13/06/28 16:26:25信息映射。作业客户端：计数器：0
13/06/28 16:26:25信息映射。作业客户端：作业失败：NA
线程“main”java.io.IOException中出现异常：作业失败！
位于org.apache.hadoop.mapred.JobClient.runJob（JobClient.java:1323）
net.reunify.socialmedia.NumberOfTweetsPerUser.run（NumberOfTweetsPerUser.java:105）
位于org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70）
net.reunify.socialmedia.NumberOfTweetsPerUser.main（NumberOfTweetsPerUser.java:120）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:39）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:25）中
位于java.lang.reflect.Method.invoke（Method.java:597）
位于org.apache.hadoop.util.RunJar.main（RunJar.java:208）

如果可能，请将snappy从1.0.4更改为1.0.5。希望这能解决这个问题