Hadoop 由于清管器MR作业中的权限问题导致EOFEException
我在本地hadoop集群80个节点上运行的Map reduce作业中看到以下异常。这个堆栈跟踪没有指向我的代码,我想它可能与某些权限问题有关。一件有趣的事情是,如果我将作业作为系统帐户运行,它会像这样失败。如果我像自己一样运行它,工作就可以正常运行Hadoop 由于清管器MR作业中的权限问题导致EOFEException,hadoop,permissions,apache-pig,Hadoop,Permissions,Apache Pig,我在本地hadoop集群80个节点上运行的Map reduce作业中看到以下异常。这个堆栈跟踪没有指向我的代码,我想它可能与某些权限问题有关。一件有趣的事情是,如果我将作业作为系统帐户运行,它会像这样失败。如果我像自己一样运行它,工作就可以正常运行 java.lang.RuntimeException: java.io.EOFException at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.ja
java.lang.RuntimeException: java.io.EOFException
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:103)
at org.apache.hadoop.mapreduce.ReduceContext.nextKeyValue(ReduceContext.java:120)
at org.apache.hadoop.mapreduce.ReduceContext.nextKey(ReduceContext.java:92)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:175)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.io.EOFException
at java.io.DataInputStream.readByte(DataInputStream.java:250)
at org.apache.pig.impl.io.PigNullableWritable.readFields(PigNullableWritable.java:115)
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:100)
... 10 more
这里的任何帮助都是感激的。如果您需要更多信息,请告诉我。这很奇怪,但权限不是问题所在。这是因为两个用户使用的hadoop配置不同。我把它修好了,现在它似乎可以工作了。谢谢您试图
存储
输出的目录的权限是什么?@shaurya在我看来可能存在反序列化问题。首先,我要检查失败的用户是否没有使用另一个Hadoop/Pig配置/version。谢谢罗兰。这似乎是事实,解决了问题。