jobtracker上的hadoop conf/masters和conf/slaves?

jobtracker上的hadoop conf/masters和conf/slaves?,hadoop,configuration,Hadoop,Configuration,在名节点和作业跟踪器不是同一台服务器的hadoop集群(1.x版本)中,是否需要在名节点和作业跟踪器上指定conf/masters和conf/slaves,还是只在名节点上指定?我似乎在文档中找不到对此的直接答案。conf文件夹中的从属文件和主文件仅由bin文件夹中的start-mapred.sh、start-dfs.sh和start-all.sh脚本使用。这些脚本是方便的脚本,因此您可以在单个节点上运行它们,以ssh方式连接到每个主/从节点,并启动所需的hadoop服务守护进程。这些脚本也将从

在名节点和作业跟踪器不是同一台服务器的hadoop集群(1.x版本)中,是否需要在名节点和作业跟踪器上指定conf/masters和conf/slaves,还是只在名节点上指定?我似乎在文档中找不到对此的直接答案。

conf文件夹中的从属文件和主文件仅由bin文件夹中的start-mapred.sh、start-dfs.sh和start-all.sh脚本使用。这些脚本是方便的脚本,因此您可以在单个节点上运行它们,以ssh方式连接到每个主/从节点,并启动所需的hadoop服务守护进程。这些脚本也将从相应的“主”节点启动:

  • start-dfs.sh-从要作为名称节点的节点开始
  • start-mapred.sh-从要成为作业跟踪器的节点开始
  • start-all.sh-委托上述脚本,并应从您希望同时作为名称节点和作业跟踪器的节点运行
从属文件列出了所有计算节点主机名(即要在其上运行数据节点和任务跟踪器服务的节点),而主文件包含要在其上运行辅助名称节点的节点的主机名


记住这一点,您只需要在名称节点上显示从属文件和主文件,并且只有在您计划从此单一节点启动集群时(使用无密码ssh)。

conf文件夹中的从属文件和主文件仅由bin文件夹中的start-mapred.sh、start-dfs.sh和start-all.sh脚本使用。这些脚本是方便的脚本,因此您可以在单个节点上运行它们,以ssh方式连接到每个主/从节点,并启动所需的hadoop服务守护进程。这些脚本也将从相应的“主”节点启动:

  • start-dfs.sh-从要作为名称节点的节点开始
  • start-mapred.sh-从要成为作业跟踪器的节点开始
  • start-all.sh-委托上述脚本,并应从您希望同时作为名称节点和作业跟踪器的节点运行
从属文件列出了所有计算节点主机名(即要在其上运行数据节点和任务跟踪器服务的节点),而主文件包含要在其上运行辅助名称节点的节点的主机名


记住这一点,您只需要在名称节点上显示从属文件和主文件,并且只有当您计划从这个节点启动集群时(使用无密码ssh)。

感谢您的响应(我终于在文档中看到了这一点)。如果作业跟踪器与名称节点不同,则conf/slaves需要同时位于这两个节点上?谢谢。最后一个问题。你会推荐使用Zookeeper做类似的事情吗?还是有其他更好的工具?zookeeper的设计目的似乎就是为了这个。从属文件和主文件(以及前面提到的脚本)是管理启动/停止集群的一种方法,但在较大规模的集群中,它们不太常见,并且重新捆绑Hadoop的各个供应商都有自己的解决方案(更基于代理)要替换这些文件,谢谢,感谢infox,我们必须创建conf目录吗?还是它应该固有地存在?我在独立模式下安装了hadoop,现在正尝试连接master和slaveThanks以获得响应(我最终在文档中遇到了这个问题)。如果作业跟踪器与名称节点不同,则conf/slaves需要同时位于这两个节点上?谢谢。最后一个问题。你会推荐使用Zookeeper做类似的事情吗?还是有其他更好的工具?zookeeper的设计目的似乎就是为了这个。从属文件和主文件(以及前面提到的脚本)是管理启动/停止集群的一种方法,但在较大规模的集群中,它们不太常见,并且重新捆绑Hadoop的各个供应商都有自己的解决方案(更基于代理)要替换这些文件,谢谢,感谢infox,我们必须创建conf目录吗?还是它应该固有地存在?我在独立模式下安装了hadoop,现在正在尝试连接主设备和从设备