Java 在Hadoop执行期间未找到拆分类

Java 在Hadoop执行期间未找到拆分类,java,hadoop,mapreduce,mapper,Java,Hadoop,Mapreduce,Mapper,我有一个奇怪的问题。我有自己的文件系统实现,而不是默认的分布式文件系统。我已经在fs.default.name和impl中添加了文件系统。当hadoop执行启动(teragen程序)时,我可以看到JobTracker中的job.xml、job.jar等文件的写入和读取都进行得很好。 但是,一旦在jobtracker中分配了映射任务,它就会给出ioexception,表明未找到拆分类。我验证了示例jar中存在所有类 另外,为了缩小问题的范围,我使用默认分布式系统通过更改fs.default.nam

我有一个奇怪的问题。我有自己的文件系统实现,而不是默认的分布式文件系统。我已经在fs.default.name和impl中添加了文件系统。当hadoop执行启动(teragen程序)时,我可以看到JobTracker中的job.xml、job.jar等文件的写入和读取都进行得很好。 但是,一旦在jobtracker中分配了映射任务,它就会给出ioexception,表明未找到拆分类。我验证了示例jar中存在所有类

另外,为了缩小问题的范围,我使用默认分布式系统通过更改fs.default.name重试了完全相同的设置。它工作得很好

命令

bin/hadoop jar hadoop-examples-1.2.1.jar teragen 100000 /user/hduser/terasort-input
起初我觉得这是一个类路径问题,但是,如果相同的设置适用于默认的分布式系统,那么问题出在哪里呢?。我在文件系统中的实现如何影响jobtracker和类路径

我真的很感谢你的帮助

2013-11-06 12:30:35,018 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201311061227_0001_m_000000_0: java.io.IOException: Split class PLLorg.apache.hadoop.examples.terasort.TeraGen$RangeInputFormat$RangeInputSplit not found
at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:381)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:406)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:366)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:416)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

Caused by: java.lang.ClassNotFoundException: PLLorg.apache.hadoop.examples.terasort.TeraGen$RangeInputFormat$RangeInputSplit
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:266)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:810)
at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:379)

请检查文件系统实现中的路径转换问题,如以下问题:

  • 工作目录
  • filestatus:返回filestatus时,filestatus对象中包含一个路径,以后可以使用该路径
  • 使合格
  • 可怜虫
您可能还需要检查:

  • 您的文件系统是否实际上是一个共享文件系统,这意味着所有节点(TT,JT)都具有相同的名称空间