有人在hadoop流媒体作业中使用mapred.job.tracker=local吗?
在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10MB,我们将在JobConf中设置mapred.job.tracker=local,然后作业将在本地运行 但昨晚,许多作业失败,运行job.getJobState()返回状态3。 我不知道为什么,而且标准里什么也没有 我无法用谷歌搜索与这个问题相关的任何信息。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案有人在hadoop流媒体作业中使用mapred.job.tracker=local吗?,hadoop,streaming,local,Hadoop,Streaming,Local,在过去的几周里,我们每天使用hadoop流计算一些报告。最近我们对程序做了一个更改,如果输入大小小于10MB,我们将在JobConf中设置mapred.job.tracker=local,然后作业将在本地运行 但昨晚,许多作业失败,运行job.getJobState()返回状态3。 我不知道为什么,而且标准里什么也没有 我无法用谷歌搜索与这个问题相关的任何信息。所以我想知道是否应该在生产模式中使用mapred.job.tracker=local?也许这只是hadoop提供的开发中的调试解决方案
有人知道这件事吗?任何信息,谢谢 我相信设置
mapred.job.tracker=local
与您的错误无关,因为local
是默认值。
此配置参数定义MapReduce作业跟踪器运行的主机和端口。如果将其设置为“本地”,则作业将作为单个映射和reduce任务在进程中运行
请参阅。谢谢。由于情况无法重播,下次出现时我会仔细检查。