将新节点配置到Hadoop群集[/etc/hosts]

将新节点配置到Hadoop群集[/etc/hosts],hadoop,configuration,hostname,Hadoop,Configuration,Hostname,我有一个运行中的hadoop集群,包含6个节点[1个主节点和5个从节点]。我制作了一个从节点的快照映像,并根据该映像创建了一个新节点 我登录到每个ndoe,并使用新节点的信息手动更新集群中所有Hadoop节点上的/etc/hosts文件 这种方法对于较小的集群可能是可行的。我知道,对于更大的集群,这种方法根本不起作用 我厌倦了手动更新所有节点的/etc/hosts文件中的新节点信息[ip address host name]。有更好的方法吗?您是否使用任何特定的云环境,如AWS、OpenStac

我有一个运行中的hadoop集群,包含6个节点[1个主节点和5个从节点]。我制作了一个从节点的快照映像,并根据该映像创建了一个新节点

我登录到每个ndoe,并使用新节点的信息手动更新集群中所有Hadoop节点上的/etc/hosts文件

这种方法对于较小的集群可能是可行的。我知道,对于更大的集群,这种方法根本不起作用


我厌倦了手动更新所有节点的/etc/hosts文件中的新节点信息[ip address host name]。有更好的方法吗?

您是否使用任何特定的云环境,如AWS、OpenStack?我的Hadoop群集安装在OpenStack之上。一个选项是使用它,允许在基于系统的情况下执行脚本。与启动时执行脚本相关。如果您不想编写脚本,我想您必须设置自己的DNS服务器。谢谢您的回答。OpenStack由管理员配置和管理。我无法控制它。我通过地平线界面访问它。请您在本文中解释一下您的想法好吗?在这种情况下,我想您可以准备一个映像,并启用一个脚本,以便在实例引导期间运行。对于*nix风格,在init.d目录中添加一个脚本,并使用
chkconfig
在启动时启动脚本,该脚本将配置您的
/etc/hosts
。另一个通用解决方案是使用自动化框架(如puppet、chef)来配置实例。