Hadoop 为什么挂起的映射任务没有启动?

Hadoop 为什么挂起的映射任务没有启动?,hadoop,apache-pig,cloudera,Hadoop,Apache Pig,Cloudera,我有一个特别的猪工作,通常需要12分钟左右运行,但一天有几次它会陷入一种奇怪的状态。该作业有6个映射和1个reduce任务。它成功地完成了第一个映射任务,然后它将“保持”数小时(永远!)。作业跟踪器显示有5个映射和1个reduce挂起,但是没有任务正在运行。没有任务显示任何错误。映射任务将不会启动,但不会发生错误 我怎样才能知道为什么任务没有开始 我已尝试增加工作优先级,并已验证是否存在可用的映射和减少插槽。运行的一个映射的任务日志看起来完全正常。有没有其他日志可以告诉我发生了什么 我将Clou

我有一个特别的猪工作,通常需要12分钟左右运行,但一天有几次它会陷入一种奇怪的状态。该作业有6个映射和1个reduce任务。它成功地完成了第一个映射任务,然后它将“保持”数小时(永远!)。作业跟踪器显示有5个映射和1个reduce挂起,但是没有任务正在运行。没有任务显示任何错误。映射任务将不会启动,但不会发生错误

我怎样才能知道为什么任务没有开始

我已尝试增加工作优先级,并已验证是否存在可用的映射和减少插槽。运行的一个映射的任务日志看起来完全正常。有没有其他日志可以告诉我发生了什么


我将Cloudera CDH4.5与MR1一起使用。小型集群有5个节点。

查看第一个映射任务的日志-它可能失败了。我遇到过许多情况,第一个映射任务失败,但报告为成功,并且后续的映射任务都没有启动。

运行的一个映射显示正的映射输入和输出记录计数。底部的任务日志指示“开始刷新映射输出”、“已完成。正在提交”和“任务尝试完成”。我在整个映射任务日志中找不到任何异常或错误。这看起来像是一个成功的映射任务,我也遇到了同样的问题(在将表导出到S3时)。我找到了基于这个问题的解决方案:我已经在mapred-site.xml和warn-site.xml中注释了内存配置,并重新启动了我的主机(单节点)。。。有组合器吗?根据清管器日志,没有组合器。