Hadoop Hbase批量加载-映射减少作业失败

我有针对hbase批量加载的map reduce作业。作业正在将数据转换为Hfiles并加载到hbase，但在某些映射%之后，作业失败。下面是我得到的一个例外

Error: java.io.FileNotFoundException: /var/mapr/local/tm4/mapred/nodeManager/spill/job_1433110149357_0005/attempt_1433110149357_0005_m_000000_0/spill83.out.index
    at org.apache.hadoop.fs.RawLocalFileSystem.open(RawLocalFileSystem.java:198)
    at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:800)
    at org.apache.hadoop.io.SecureIOUtils.openFSDataInputStream(SecureIOUtils.java:156)
    at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:74)
    at org.apache.hadoop.mapred.MapRFsOutputBuffer.mergeParts(MapRFsOutputBuffer.java:1382)
    at org.apache.hadoop.mapred.MapRFsOutputBuffer.flush(MapRFsOutputBuffer.java:1627)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:709)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:779)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:345)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)

错误：java.io.FileNotFoundException:/var/mapr/local/tm4/mapred/nodeManager/spill/job\u 14310149357\u 0005/trunt\u 14310149357\u 0005\u m\u 000000\u 0/spill83.out.index
位于org.apache.hadoop.fs.RawLocalFileSystem.open（RawLocalFileSystem.java:198）
位于org.apache.hadoop.fs.FileSystem.open（FileSystem.java:800）
在org.apache.hadoop.io.SecureIOUtils.openFSDataInputStream（SecureIOUtils.java:156）上
位于org.apache.hadoop.mapred.SpillRecord.（SpillRecord.java:74）
位于org.apache.hadoop.mapred.MapRFsOutputBuffer.mergeParts（MapRFsOutputBuffer.java:1382）
位于org.apache.hadoop.mapred.MapRFsOutputBuffer.flush（MapRFsOutputBuffer.java:1627）
位于org.apache.hadoop.mapred.MapTask$NewOutputCollector.close（MapTask.java:709）
位于org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:779）
位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:345）
位于org.apache.hadoop.mapred.YarnChild$2.run（YarnChild.java:168）
位于java.security.AccessController.doPrivileged（本机方法）
位于javax.security.auth.Subject.doAs（Subject.java:415）
位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1566）
位于org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:163）

我在作业中注意到的唯一一件事是，对于一小部分数据，它工作正常，但随着数据的增长，作业开始失败

如果有人遇到过这个问题，请告诉我

---

谢谢

这是MapR中的一个bug。我在MapR论坛上得到了回复。如果有人面临类似的问题，请参考下面的链接