Hadoop减少任务停留在0%

Hadoop减少任务停留在0%,hadoop,mapreduce,Hadoop,Mapreduce,我正在按照一些指南设置伪分布式模式,我运行start-all.sh,守护进程都很好(其中6个),然后我启动了WordCount示例,它在独立模式下运行良好,但停留在映射100%,减少0% 查看jobtracker,reduce任务处于状态reduce>copy。 唯一的错误日志位于secondarynamenode.log: 2013-02-27 23:29:59,555 ERROR org.apache.hadoop.security.UserGroupInformation: Privile

我正在按照一些指南设置伪分布式模式,我运行start-all.sh,守护进程都很好(其中6个),然后我启动了WordCount示例,它在独立模式下运行良好,但停留在映射100%,减少0%

查看jobtracker,reduce任务处于状态
reduce>copy
。 唯一的错误日志位于
secondarynamenode.log

2013-02-27 23:29:59,555 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:my_user_name cause:java.net.ConnectException: Connection refused 
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint:  
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused
我可以不使用密码ssh localhost。Hadoop版本是1.1.1。我从命令行启动了一个jar文件

真的不知道怎么了,来点帮助


提前感谢。

您运行word count需要多少数据?如果您在独立模式下运行大型数据集,而不使用组合器,那么这将导致一些问题。试一试

job.setMapperClass(<Mapper_Class>);
job.setCombinerClass(<Reducer_Class>);
job.setReducerClass(<Reducer_Class>);
job.setMapperClass();
job.setCombinerClass();
job.setReducerClass();

在程序中包含驱动程序的主方法中。这可能会对您有所帮助。

我假设您已将真实用户名替换为
my\u user\u name
。请在命令行中使用
jps
列出hadoop的守护进程。它们真的都在运行吗(尤其是
NameNode
)?此外-您是否在
hdfs site.xml
中正确配置了
dfs.namenode.secondary.http
?我确信所有守护进程都正常,并且作业已通过映射运行,但在reduce任务之前卡住了。但是我没有设置dfs.namenode.secondary.http,它的值应该是什么?列出了默认值。如果0.0.0.0不起作用,请尝试真正的IP。