HA hadoop设置中需要3个日志节点

HA hadoop设置中需要3个日志节点,hadoop,hdfs,high-availability,Hadoop,Hdfs,High Availability,我是hadoop的新手。当我使用qoroum日志管理器设置hadoop namenode ha时,我对需求感到有点困惑。apache网站上的官方文件说 注意:必须至少有3个JournalNode守护进程,因为编辑日志修改必须写入大多数JN 这意味着什么?为什么我们需要3个日志节点而不是两个 正如在hadoop1中一样,每个集群只能有一个Namenode,如果这个Namenode变得不可用,那么整个集群将变得不可用,从而导致单点故障 为了解决这个问题,显而易见的解决方案是为每个集群添加多个Name

我是hadoop的新手。当我使用qoroum日志管理器设置hadoop namenode ha时,我对需求感到有点困惑。apache网站上的官方文件说

注意:必须至少有3个JournalNode守护进程,因为编辑日志修改必须写入大多数JN

这意味着什么?为什么我们需要3个日志节点而不是两个

  • 正如在hadoop1中一样,每个集群只能有一个Namenode,如果这个Namenode变得不可用,那么整个集群将变得不可用,从而导致单点故障
  • 为了解决这个问题,显而易见的解决方案是为每个集群添加多个Namenode
  • 在haoop2中,每个集群可以有两个Namenode。一次只有一个Namenode处于活动状态,另一个处于待机模式。要使系统HA,两个Namenode都应同步。为此,他们引入了日志节点的概念
  • 此轻量级demon的目的是将活动Namenode中的每个更改同步到备用Namenodes
  • 现在,如果该日志节点失败怎么办。这将再次成为同一问题。日志节点将成为单点故障。为了避免这种情况,他们引入了一个群体的概念,就像Zookeeper中引入的那样 法定人数是什么意思

    法定人数:-法定人数的字面意思是“为使会议有效而必须出席的大会/协会成员的最低人数”

    在类似的注释中,必须始终有超过一半的日志节点处于健康状态,才能保持一切正常运行。e、 g如果系统中有2个日志节点,则必须保持“超过一半”,即超过1个日志节点,即2个日志节点处于健康状态,以保持所有运行。这意味着在这种情况下,您不能接受任何日志节点故障。要避免这种情况,必须有奇数个日志节点(即3,5,7)。但最小值为3,以便我们能够承受日志节点故障


    我希望这有帮助

    谢谢。这真的很有帮助。