Amazon ec2 Hadoop安全模式恢复-花费大量时间
我们正在AmazonEC2上运行集群。我们正在使用cloudera脚本来设置hadoop。在主节点上,我们从以下服务开始Amazon ec2 Hadoop安全模式恢复-花费大量时间,amazon-ec2,hadoop,cloud,hdfs,Amazon Ec2,Hadoop,Cloud,Hdfs,我们正在AmazonEC2上运行集群。我们正在使用cloudera脚本来设置hadoop。在主节点上,我们从以下服务开始 609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode' 610 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start secondarynamenode' 611 $AS_HADOOP '"$HADOOP_HOME"/bin/had
609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode'
610 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start secondarynamenode'
611 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start jobtracker'
612
613 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop dfsadmin -safemode wait'
625 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start datanode'
626 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start tasktracker'
在从机上,我们运行以下服务
609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode'
610 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start secondarynamenode'
611 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start jobtracker'
612
613 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop dfsadmin -safemode wait'
625 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start datanode'
626 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start tasktracker'
我们面临的主要问题是,hdfs安全模式恢复需要一个多小时的时间,这会导致我们的作业完成延迟
下面是主要的日志消息
1. domU-12-31-39-0A-34-61.compute-1.internal 10/05/05 20:44:19 INFO ipc.Client: Retrying connect to server: ec2-184-73-64-64.compute-1.amazonaws.com/10.192.11.240:8020. Already tried 21 time(s).
2. The reported blocks 283634 needs additional 322258 blocks to reach the threshold 0.9990 of total blocks 606499. Safe mode will be turned off automatically.
第一条消息被抛出到任务跟踪器日志中,因为作业跟踪器未启动。由于hdfs安全模式恢复,作业跟踪器未启动
第二条消息在恢复过程中抛出
我做错什么了吗?
正常hdfs安全模式恢复需要多长时间?
在作业跟踪器启动之前不启动任务跟踪器会有任何加速吗?
amazon集群上是否存在已知的hadoop问题
感谢您的帮助。在安全模式下花费的时间通常与群集的大小成正比。也就是说,正常时间最多是几分钟,而不是几小时。有几件事需要检查
希望这有帮助。在安全模式下花费的时间通常与集群的大小成正比。也就是说,正常时间最多是几分钟,而不是几小时。有几件事需要检查