Hadoop 已在安全模式下启动节点

Hadoop 已在安全模式下启动节点,hadoop,hdfs,bigdata,Hadoop,Hdfs,Bigdata,我正在使用CentOS实现Hadoop。当我启动操作系统时,默认情况下hadoop将以安全模式启动。在我将其从“安全模式”中删除并尝试将数据放入HDFS后,它将弹出0个可用的名称节点。有人说“重启操作系统”可以解决这个问题。有什么办法可以解决这个问题吗?IMHO,强迫NN退出安全模式不是一个非常明智的选择。在此期间,NameNode从fsimage和编辑日志文件加载文件系统状态。通常,在安全模式下花费的时间通常与集群的大小或数据的大小成正比 如果您对当前配置不满意,可以使用dfs.safemod

我正在使用CentOS实现Hadoop。当我启动操作系统时,默认情况下hadoop将以安全模式启动。在我将其从“安全模式”中删除并尝试将数据放入HDFS后,它将弹出0个可用的名称节点。有人说“重启操作系统”可以解决这个问题。有什么办法可以解决这个问题吗?

IMHO,强迫NN退出安全模式不是一个非常明智的选择。在此期间,NameNode从fsimage和编辑日志文件加载文件系统状态。通常,在安全模式下花费的时间通常与集群的大小或数据的大小成正比

如果您对当前配置不满意,可以使用dfs.safemode.threshold.pct更改NN safemode行为。NN将等待,直到特定百分比的块出现并由此属性表示。达到此阈值后,安全模式将自动退出。如果希望NN快速退出安全模式,可以选择smller值

话虽如此,如果您面临长时间的安全模式,您可以检查几件事情以确保一切正常运行:

  • 所有数据节点都正常运行
  • 您有足够的名称节点线程,能够处理要签入的数据节点的数量。您可以通过dfs.namenode.handler.count来处理此问题