Amazon web services ElephantBird不适用于AWS EMR

Amazon web services ElephantBird不适用于AWS EMR,amazon-web-services,apache-pig,emr,elephantbird,Amazon Web Services,Apache Pig,Emr,Elephantbird,我试图在AWS EMR中运行一个Pig脚本和ElephantBird。我正在使用Hadoop 2.x来实现这一点,但我得到以下信息: 2014-09-09 14:53:11001 INFO[main]org.apache.hadoop.mapred.MapTask:开始刷新地图输出 2014-09-09 14:53:11029 INFO[main]org.apache.hadoop.io.compress.codepool:Get全新压缩机[.snappy] 2014-09-09 14:53:1

我试图在AWS EMR中运行一个Pig脚本和ElephantBird。我正在使用Hadoop 2.x来实现这一点,但我得到以下信息:

2014-09-09 14:53:11001 INFO[main]org.apache.hadoop.mapred.MapTask:开始刷新地图输出 2014-09-09 14:53:11029 INFO[main]org.apache.hadoop.io.compress.codepool:Get全新压缩机[.snappy] 2014-09-09 14:53:11040致命[main]org.apache.hadoop.mapred.YarnChild:运行child:java.lang.CompatibleClassChangeError:找到接口org.apache.hadoop.mapreduce.Counter,但类是预期的 在com.twitter.elephantbird.pig.util.PigCounterHelper.incrCounterPigCounterHelper.java:55 位于com.twitter.elephantbird.pig.load.LzoBaseLoadFunc.incrcounterzobaseloadfunc.java:70 在com.twitter.elephantbird.pig.load.JsonLoader.getNextJsonLoader.java:128 位于org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordReader.nextKeyValuePigRecordReader.java:211 位于org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValueMapTask.java:544 位于org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValueMapContextImpl.java:80 位于org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValueWrappedMapper.java:91 位于org.apache.hadoop.mapreduce.Mapper.runMapper.java:144 位于org.apache.hadoop.mapred.MapTask.runNewMapperMapTask.java:775 位于org.apache.hadoop.mapred.MapTask.runMapTask.java:341 位于org.apache.hadoop.mapred.YarnChild$2.runYarnChild.java:167 位于java.security.AccessController.doPrivilegeEdNative方法 位于javax.security.auth.Subject.doassObject.java:415 位于org.apache.hadoop.security.UserGroupInformation.doasurgroupinformation.java:1548 位于org.apache.hadoop.mapred.YarnChild.mainYarnChild.java:162

我尝试了3.0.9到4.0.x的大象鸟的不同版本,但似乎都不起作用。我将集群降级为Hadoop1.x,使用大象鸟也没有问题。
有什么想法吗?

有什么进展吗?我现在可能有同样的问题。嗨,德兰索,不幸的是没有。最后,我在我的EMR集群上使用了Hadoop1.x,一切正常。