有人在hadoop流媒体作业中使用mapred.job.tracker=local吗?

有人在hadoop流媒体作业中使用mapred.job.tracker=local吗?,hadoop,streaming,local,Hadoop,Streaming,Local,在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10MB,我们将在JobConf中设置mapred.job.tracker=local,然后作业将在本地运行 但昨晚,许多作业失败,运行job.getJobState()返回状态3。 我不知道为什么,而且标准里什么也没有 我无法用谷歌搜索与这个问题相关的任何信息。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案

在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10MB,我们将在JobConf中设置mapred.job.tracker=local,然后作业将在本地运行

但昨晚,许多作业失败,运行job.getJobState()返回状态3。 我不知道为什么,而且标准里什么也没有

我无法用谷歌搜索与这个问题相关的任何信息。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案


有人知道这件事吗?任何信息,谢谢

我相信设置
mapred.job.tracker=local
与您的错误无关,因为
local
是默认值。 此配置参数定义MapReduce作业跟踪器运行的主机和端口。如果将其设置为“本地”,则作业将作为单个映射和reduce任务在进程中运行


请参阅。

谢谢。由于情况无法重播,下次出现时我会仔细检查。