当目录为空时,如何防止Hadoop作业失败?

当目录为空时,如何防止Hadoop作业失败?,hadoop,mapreduce,mapr,Hadoop,Mapreduce,Mapr,我有一个作业在输入目录中没有文件时失败。我得到的例外情况如下: org.apache.hadoop.mapreduce.lib.input.InvalidInputException:Input Pattern maprfs:/profile/* 我知道这个异常来自FileInputFormat类。解决这个问题的最佳方法是什么。覆盖InputFormat类是唯一的解决方案吗 多谢各位 在输入路径中放置一个空文件 在驱动程序的开头列出您的输入路径。如果没有文件,则退出而不提交作业 这样做的要求是

我有一个作业在输入目录中没有文件时失败。我得到的例外情况如下:

org.apache.hadoop.mapreduce.lib.input.InvalidInputException:Input Pattern maprfs:/profile/*
我知道这个异常来自FileInputFormat类。解决这个问题的最佳方法是什么。覆盖InputFormat类是唯一的解决方案吗

多谢各位

  • 在输入路径中放置一个空文件

  • 在驱动程序的开头列出您的输入路径。如果没有文件,则退出而不提交作业


  • 这样做的要求是什么?谢谢。这正是我所做的。