Hadoop 控制要写入输出文件的行数

Hadoop 控制要写入输出文件的行数,hadoop,Hadoop,我是Hadoop编程新手 在这种情况下,我想在n行之后停止向输出文件写入 在我的程序中,我确信输出文件将按照k3进行排序,但我不想要整个列表。我只想要第一个n Hadoop中有这样做的机制吗?我找不到同样的类/API 但是,可以在Reduce函数中调用时增加计数器。当计数器达到某个值时,停止调用OutputCollector.collect() 这是对CPU周期的浪费,因为即使在n行写入o/p之后,reduce任务仍会继续运行。可能有更好的方法解决这个问题。我找不到同样的类/API 但是,可以在

我是Hadoop编程新手

在这种情况下,我想在n行之后停止向输出文件写入

在我的程序中,我确信输出文件将按照
k3
进行排序,但我不想要整个列表。我只想要第一个n


Hadoop中有这样做的机制吗?

我找不到同样的类/API

但是,可以在Reduce函数中调用时增加计数器。当计数器达到某个值时,停止调用OutputCollector.collect()


这是对CPU周期的浪费,因为即使在n行写入o/p之后,reduce任务仍会继续运行。可能有更好的方法解决这个问题。

我找不到同样的类/API

但是,可以在Reduce函数中调用时增加计数器。当计数器达到某个值时,停止调用OutputCollector.collect()


这是对CPU周期的浪费,因为即使在n行写入o/p之后,reduce任务仍会继续运行。可能有更好的方法解决这个问题。

请给出输入->输出示例和映射器/还原器代码。请给出输入->输出示例和映射器/还原器代码。谢谢praveen。我也想到了同样的方法,然后继续寻找是否有更好的方法。谢谢你,praveen。我想到了同样的方法,然后继续寻找是否有更好的方法。