Amazon ec2 EC2上的Hadoop错误:只能复制到0个节点,而不是1个节点

Amazon ec2 EC2上的Hadoop错误:只能复制到0个节点,而不是1个节点,amazon-ec2,hadoop,Amazon Ec2,Hadoop,我正在EC2上运行一个非常小的Hadoop集群 我正在使用whirr版本启动一个集群:whirr-0.2.0-1个jobtracker+namenode和4个datanodes+tasktracker: whirr.hardware-id=c1.medium whirr.instance-templates=1 jt+nn,4 dn+tt whirr.provider=ec2 当我运行我的作业时,我得到以下错误,不是立即,而是一段时间后: 我在tasktracker日志

我正在EC2上运行一个非常小的Hadoop集群

我正在使用whirr版本启动一个集群:whirr-0.2.0-1个jobtracker+namenode和4个datanodes+tasktracker:

    whirr.hardware-id=c1.medium
    whirr.instance-templates=1 jt+nn,4 dn+tt
    whirr.provider=ec2
当我运行我的作业时,我得到以下错误,不是立即,而是一段时间后:

我在tasktracker日志文件中发现了相同的错误:

....
2011-01-17 22:31:36,968 INFO org.apache.hadoop.mapred.JobTracker: Adding task (cleanup)'attempt_201101172141_0002_m_000004_1' to tip task_201101172141_0002_m_000004, for tracker 'tracker_ip-11-222-333-444.ec2.internal:localhost/127.0.0.1:44840'
2011-01-17 22:31:39,972 INFO org.apache.hadoop.mapred.JobTracker: Removed completed task 'attempt_201101172141_0002_m_000004_1' from 'tracker_ip-11-222-333-444.ec2.internal:localhost/127.0.0.1:44840'
2011-01-17 22:31:57,985 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201101172141_0002_r_000000_0: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/dsp-test/test1/test2/_temporary/_attempt_201101172141_0002_r_000000_0/parts/81/part-00000 could only be replicated to 0 nodes, instead of 1
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
    at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
在作业的配置中,我有:

dfs.replication=2
mapred.child.java.opts=-server -Xmx180m -XX:ErrorFile=/mnt/hadoop/logs/logs/java/java_error.log

有人知道我为什么会出现这个错误吗?

磁盘空间用完了吗?有时,如果磁盘空间不足,它会这样抱怨。

看起来不像。DFS使用空间低于20%
dfs.replication=2
mapred.child.java.opts=-server -Xmx180m -XX:ErrorFile=/mnt/hadoop/logs/logs/java/java_error.log