Hadoop Namenode HA的名称服务应该可以跨集群发现

Hadoop Namenode HA的名称服务应该可以跨集群发现,hadoop,distcp,nameservice,Hadoop,Distcp,Nameservice,要求:Hadoop Namenode HA的nameservice应该可以跨集群发现 解决方案#1: 我在网上找到的一个解决方案是将nameservice配置添加到相关集群中的所有hdfs-site.xml文件中 问题:我们有10个集群,而且还在增长,我们无法在每次部署新集群时在所有集群中添加新的集群定义 优点:可管理少数集群。 缺点:不能扩展到更多集群 解决方案#2: 我们正计划开发第二个解决方案,即使用一个中心服务跨集群解析名称服务,并使用一个自定义类扩展org.apache.hadoop.

要求:Hadoop Namenode HA的nameservice应该可以跨集群发现

解决方案#1: 我在网上找到的一个解决方案是将nameservice配置添加到相关集群中的所有hdfs-site.xml文件中

问题:我们有10个集群,而且还在增长,我们无法在每次部署新集群时在所有集群中添加新的集群定义

优点:可管理少数集群。 缺点:不能扩展到更多集群

解决方案#2: 我们正计划开发第二个解决方案,即使用一个中心服务跨集群解析名称服务,并使用一个自定义类扩展org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider类


请提供关于任何更好的解决方案或任何已针对此问题提交的现有修补程序的任何信息。

您是否看到Twitter的方法:+-有多个集群的包装器?另一种方法是使用
xi:include
并从中央可靠源(zookeeper?)获取配置。谢谢您提供的信息。我在推特上读了这个博客。如果我的理解有误,请纠正我。我相信博客中讨论的解决方案只适用于联邦集群。。对的如果我没有联邦集群,而且有人提到twitter在hadoop上有自己的包装器,它可以动态加载配置,这意味着我们必须重新配置所有集群。你看到twitter的方法了吗?+-有一个多集群包装器吗?另一种方法是使用
xi:include
并从中央可靠源(zookeeper?)获取配置。谢谢您提供的信息。我在推特上读了这个博客。如果我的理解有误,请纠正我。我相信博客中讨论的解决方案只适用于联邦集群。。对的如果我没有一个联邦集群,而且有人提到twitter在hadoop上有自己的包装器,动态加载配置,这意味着我们必须重新配置所有集群,那该怎么办。