Hadoop机架拓扑
在Hadoop中,我了解到可以通过提供机架的IP地址或其相关主机名来配置机架拓扑。 这是否意味着在一个Hadoop集群中,理论上可以在完全不同的地理位置拥有不同的机架,只要它们可以从NameNode访问(可以ping)Hadoop机架拓扑,hadoop,hdfs,distributed-system,Hadoop,Hdfs,Distributed System,在Hadoop中,我了解到可以通过提供机架的IP地址或其相关主机名来配置机架拓扑。 这是否意味着在一个Hadoop集群中,理论上可以在完全不同的地理位置拥有不同的机架,只要它们可以从NameNode访问(可以ping) 如果是这种情况,我将假定机架感知算法定义的块的复制策略相同。Hadoop默认情况下是机架感知的,所有节点都位于称为/default rack的单个机架下。如果集群在一个数据中心内或跨多个数据中心有多个机架,则必须让hadoop组件(尤其是Namenode)知道这些不同的机架 在H
如果是这种情况,我将假定机架感知算法定义的块的复制策略相同。Hadoop默认情况下是机架感知的,所有节点都位于称为
/default rack
的单个机架下。如果集群在一个数据中心内或跨多个数据中心有多个机架,则必须让hadoop组件(尤其是Namenode)知道这些不同的机架
在Hadoop中,我读到机架拓扑可以通过
提供机架的IP地址或其相关主机名
是的,配置机架拓扑需要一个脚本,该脚本可以生成datanode的IP或主机名到最多一个机架的映射
这是否意味着在一个Hadoop集群中,理论上可以
在完全不同的地理位置安装不同的机架
只要可以从NameNode访问(可以ping)它们
是的,集群中的所有节点都应该可以访问它们。但作为一种最佳实践,不建议在不同的地理位置设置节点,因为这可能会增加节点之间的网络延迟
如果是这种情况,我将假定
机架感知算法定义的块将是相同的
对。块放置策略对于机架拓扑中的所有变体都是相同的。默认情况下,Hadoop是机架感知的,并且所有节点都位于称为
/default rack
的单个机架下。如果集群在一个数据中心内或跨多个数据中心有多个机架,则必须让hadoop组件(尤其是Namenode)知道这些不同的机架
在Hadoop中,我读到机架拓扑可以通过
提供机架的IP地址或其相关主机名
是的,配置机架拓扑需要一个脚本,该脚本可以生成datanode的IP或主机名到最多一个机架的映射
这是否意味着在一个Hadoop集群中,理论上可以
在完全不同的地理位置安装不同的机架
只要可以从NameNode访问(可以ping)它们
是的,集群中的所有节点都应该可以访问它们。但作为一种最佳实践,不建议在不同的地理位置设置节点,因为这可能会增加节点之间的网络延迟
如果是这种情况,我将假定
机架感知算法定义的块将是相同的
对。对于机架拓扑中的所有变体,块放置策略是相同的