如何管理Hadoop集群

如何管理Hadoop集群,hadoop,Hadoop,我已经运行了4个节点的hadoop集群,我正在询问远程管理该集群的方法 比如说 从我的笔记本电脑管理群集 执行MapReduce任务 禁用或启用数据节点 有没有办法远程完成 如果您使用的是Cloudera发行版,Cloudera Manager webapp将允许您这样做。 其他发行版可能有类似的控制应用程序。这将为您提供每个节点的控制 对于执行MR任务,您通常会从外部节点提交作业,指向正确的JobTracker和NameNode。因此,我不确定您还需要什么。谢谢rgordan,这正是我想要

我已经运行了4个节点的hadoop集群,我正在询问远程管理该集群的方法

比如说

从我的笔记本电脑管理群集

  • 执行MapReduce任务
  • 禁用或启用数据节点

有没有办法远程完成

如果您使用的是Cloudera发行版,Cloudera Manager webapp将允许您这样做。 其他发行版可能有类似的控制应用程序。这将为您提供每个节点的控制


对于执行MR任务,您通常会从外部节点提交作业,指向正确的JobTracker和NameNode。因此,我不确定您还需要什么。

谢谢rgordan,这正是我想要的,但对于apache hadoop而不是hadoop的cloudera发行版,您对apache hadoop中的每个节点控制有什么想法吗您可以尝试dfsadmin命令:添加配置参数:dfs.hosts.exclude,并让它指向一个包含要删除的节点的文件。然后调用命令:“bin/hadoop dfsadmin-refreshNodes”,后跟“bin/hadoop dfsadmin-report”,以查看操作结果。