Hadoop 2.x(Hortonworks)上的次要名称节点

Hadoop 2.x(Hortonworks)上的次要名称节点,hadoop,hortonworks-data-platform,standby,Hadoop,Hortonworks Data Platform,Standby,我正在cloudera的Hortonworks学习Hadoop2.x技术,我注意到Hadoop2.x的体系结构中没有辅助名称节点;它被备用名称节点替换 辅助节点是否已弃用?据我所知,备用namenode函数不同于辅助namenode函数 我可以在没有辅助namenode和备用namenode的情况下构建Hadoop而不损失性能吗 据我所知,辅助和备用都有不同的功能。备用名称节点用于HA群集 谢谢你的提问 1.次要节点不是不推荐使用的,但是如果您正在设置HA群集,则可能不需要使用次要nameno

我正在cloudera的Hortonworks学习Hadoop2.x技术,我注意到Hadoop2.x的体系结构中没有辅助名称节点;它被备用名称节点替换

  • 辅助节点是否已弃用?据我所知,备用namenode函数不同于辅助namenode函数

  • 我可以在没有辅助namenode和备用namenode的情况下构建Hadoop而不损失性能吗


据我所知,辅助和备用都有不同的功能。备用名称节点用于HA群集

谢谢你的提问

1.次要节点不是不推荐使用的,但是如果您正在设置HA群集,则可能不需要使用次要namenode,因为备用namenode保持其状态与活动namenode同步


2.您可以在没有辅助节点或备用节点的情况下安装hadoop,而不会造成任何性能损失,但如果namenode出现故障,您的所有数据都将丢失,因为namenode将其所有元数据存储在内存中

据我所知,辅助节点和备用节点都具有不同的功能。备用namenode用于HA群集

谢谢你的提问

1.次要节点不是不推荐使用的,但是如果您正在设置HA群集,则可能不需要使用次要namenode,因为备用namenode保持其状态与活动namenode同步


2.您可以在没有辅助节点或备用节点的情况下进行hadoop设置,而不会造成任何性能损失,但如果namenode出现故障,您的所有数据都将丢失,因为namenode将其所有元数据存储在内存中

辅助namenode和备用namenode是不同的东西

旧的“次要”名称节点基本上是一个。它所做的只是不时检查fsimage,以便在崩溃时更快地恢复real-namenode。它绝不提供任何备用/高可用性功能。你应该不要使用这个

新的备用名称节点是一种真正的备用、高可用性功能。更多信息,请访问:

在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个集群都有一个NameNode,如果该计算机或进程不可用,则整个集群将不可用,直到NameNode重新启动或在单独的计算机上启动

这在两个主要方面影响了HDFS群集的总体可用性:

在发生计划外事件(如机器崩溃)的情况下,群集将不可用,直到操作员重新启动NameNode。 计划内维护事件(如NameNode计算机上的软件或硬件升级)将导致群集停机窗口。 HDFS高可用性功能通过提供在具有热备用的主动/被动配置下在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在机器崩溃的情况下快速故障切换到新的NameNode,或者允许管理员出于计划维护目的启动故障切换

您应该使用/配置备用名称节点

在当前版本(撰写本文时为2.6)中,您有两种HA模式:

  • 使用

有关Hortonworks发行版的特定文档,请参阅。

辅助名称节点和备用名称节点是不同的

旧的“次要”名称节点基本上是一个。它所做的只是不时检查fsimage,以便在崩溃时更快地恢复real-namenode。它绝不提供任何备用/高可用性功能。你应该不要使用这个

新的备用名称节点是一种真正的备用、高可用性功能。更多信息,请访问:

在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个集群都有一个NameNode,如果该计算机或进程不可用,则整个集群将不可用,直到NameNode重新启动或在单独的计算机上启动

这在两个主要方面影响了HDFS群集的总体可用性:

在发生计划外事件(如机器崩溃)的情况下,群集将不可用,直到操作员重新启动NameNode。 计划内维护事件(如NameNode计算机上的软件或硬件升级)将导致群集停机窗口。 HDFS高可用性功能通过提供在具有热备用的主动/被动配置下在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在机器崩溃的情况下快速故障切换到新的NameNode,或者允许管理员出于计划维护目的启动故障切换

您应该使用/配置备用名称节点

在当前版本(撰写本文时为2.6)中,您有两种HA模式:

  • 使用

有关Hortonworks发行版的特定文档,请参阅。

谢谢您的解答!现在我明白了。我明白了SNN不做备用节点的工作。反过来是真的吗?即备用节点完成SNN的工作。在维护热备份时,是否定期合并fsimage和编辑文件?请解释一下。@JagadishTalluri请按要求提出一个单独的问题,我是在单独的问题中提出的。请检查谢谢,谢谢你的回答!现在我明白了。我明白了SNN不做备用节点的工作。反过来是真的吗?即备用节点完成SNN的工作。在维护热备份时,是否定期合并fsimage和编辑文件?请解释一下。@JagadishTalluri请按要求提出一个单独的问题,我是在单独的问题中提出的。请检查CTDex,您的意思是说备用名称节点也负责将fsimage文件与编辑文件合并?否则,编辑文件会很大,我们当然需要这样做