安装伪分布式/单节点安装Apache Hadoop 2.2

安装伪分布式/单节点安装Apache Hadoop 2.2,hadoop,mapreduce,yarn,Hadoop,Mapreduce,Yarn,我已经将ApacheHadoop2.2安装为单节点集群。当我尝试执行giraph示例时,它最终出现错误“LocalJobRunner,您不能在拆分主/辅模式下运行,因为一次只有一个任务” 我在浏览论坛时发现,我可以更新mapred-site.xml,使其拥有4个映射器。我试过了,但还是没用。我又遇到了一个论坛,我可以将单节点设置更改为伪分布式模式,解决了这个问题 有人能告诉我,我需要更改哪些配置文件才能使单节点设置成为伪分布式模式。添加到renZzz answer中,您还需要检查是否可以在不使用

我已经将ApacheHadoop2.2安装为单节点集群。当我尝试执行giraph示例时,它最终出现错误“LocalJobRunner,您不能在拆分主/辅模式下运行,因为一次只有一个任务”

我在浏览论坛时发现,我可以更新mapred-site.xml,使其拥有4个映射器。我试过了,但还是没用。我又遇到了一个论坛,我可以将单节点设置更改为伪分布式模式,解决了这个问题


有人能告诉我,我需要更改哪些配置文件才能使单节点设置成为伪分布式模式。

添加到renZzz answer中,您还需要检查是否可以在不使用密码的情况下通过ssh连接到本地主机:

 $ ssh localhost
如果在没有密码短语的情况下无法ssh到localhost,请执行以下命令:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

下面的链接可以帮助您-

对于我的第一次设置,我遵循了一些手册,但对于单节点设置来说,最好的是pdf。我建议您一步一步地使用本手册。首先,确保工人人数为一人。然后,您需要通过以下方式配置Giraph,使其不拆分辅助进程和主进程:

giraph.SplitMasterWorker=false
您可以在giraph-site.xml中进行设置,也可以通过命令进行传递 行选项:

 -ca giraph.SplitMasterWorker=false
参考: