从Java API获取mapreduce作业结果,而不在HDFS上使用永久存储

从Java API获取mapreduce作业结果,而不在HDFS上使用永久存储,java,hadoop,mapreduce,hdfs,Java,Hadoop,Mapreduce,Hdfs,我需要的看起来很普通,但我没有找到“随时可用”的解决方案 我有一些Hadoop MapReduce作业,它将结果生成为一组文件 如果这是重要的,它有几个映射器,没有还原器,但我想解决一般情况下所有阶段 我想收集作业结果,并在作业执行后使用它 但我不喜欢像FileOutputFormat一样将作业结果永久存储在HDFS上,所以看起来临时作业存储是我的选择 对于这种情况,有什么常用的方法吗?某种工作的解决方案之一就是计数器。它远不是通用的,但对于一些简单的情况,它可以帮助很多:

我需要的看起来很普通,但我没有找到“随时可用”的解决方案

  • 我有一些Hadoop MapReduce作业,它将结果生成为一组文件
  • 如果这是重要的,它有几个映射器,没有还原器,但我想解决一般情况下所有阶段
  • 我想收集作业结果,并在作业执行后使用它
  • 但我不喜欢像FileOutputFormat一样将作业结果永久存储在HDFS上,所以看起来临时作业存储是我的选择

对于这种情况,有什么常用的方法吗?

某种工作的解决方案之一就是计数器。它远不是通用的,但对于一些简单的情况,它可以帮助很多: