hadoop中的控制中间体结果

hadoop中的控制中间体结果,hadoop,mapreduce,hadoop-streaming,hadoop-partitioning,hadoop2,Hadoop,Mapreduce,Hadoop Streaming,Hadoop Partitioning,Hadoop2,我想用hadoop控制Map和Reduce之间的中间结果。 我想指定在映射后复制这些结果的位置。 我会选择将被减少的数据。 总之,我希望在进程洗牌和排序之前得到map的结果,然后做什么 我想要。 如果你有解决办法,请告诉我 谢谢您可以在特定映射程序获得InputSplit后处理数据。在映射函数中指定逻辑 我想指定在映射后复制这些结果的位置 使用上下文Java类和文件系统刷新FS上的结果 本地,hdfs,ftp 我会选择将被减少的数据 我希望在进程洗牌、排序和执行我想做的操作之前得到map的结果

我想用hadoop控制Map和Reduce之间的中间结果。 我想指定在映射后复制这些结果的位置。 我会选择将被减少的数据。 总之,我希望在进程洗牌和排序之前得到map的结果,然后做什么 我想要。 如果你有解决办法,请告诉我


谢谢

您可以在特定映射程序获得InputSplit后处理数据。在映射函数中指定逻辑

我想指定在映射后复制这些结果的位置

使用上下文Java类和文件系统刷新FS上的结果 本地,hdfs,ftp

我会选择将被减少的数据

我希望在进程洗牌、排序和执行我想做的操作之前得到map的结果 想要

在映射器类中指定映射函数的逻辑