Hadoop ApacheHawq安装构建在HDFS之上

Hadoop ApacheHawq安装构建在HDFS之上,hadoop,hawq,Hadoop,Hawq,我想安装基于Hadoop的apachehawq 在安装HAWQ之前,我应该安装Hadoop并配置所有我的节点 我有四个节点,如下所示,我的问题如下 我应该为hawq master安装hadoop发行版吗 1. hadoop-master //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 2. hawq-master //HAWQ Master 3. datanode01 //Datanode, H

我想安装基于Hadoop的apachehawq

在安装HAWQ之前,我应该安装Hadoop并配置所有我的节点

我有四个节点,如下所示,我的问题如下

我应该为hawq master安装hadoop发行版吗

1. hadoop-master   //namenode, Secondary Namenode, ResourceManager, HAWQ Standby, 
2. hawq-master     //HAWQ Master
3. datanode01      //Datanode, HAWQ Segment
4. datanode02      //Datanode, HAWQ Segment
如上所述,我在节点旁边编写了每个节点的角色。 在我看来,我应该为
hadoop master
datanode01
datanode02
安装hadoop,我应该将
hadoop master
设置为namenode(master),其他设置为
datanode
(slave)。然后,我将在所有节点上安装apachehawq。我将把
hawq-master
设置为主节点,
hadoop-master
设置为hawq备用,最后将另外两个节点设置为hawq段

我想要的是基于Hadoop安装HAWQ。因此,我认为
hawq master
应该构建在hadoop之上,但是与
hadoop master
没有任何联系

如果我继续上面的过程,那么我认为我不必在
hawqmaster
上安装hadoop发行版。基于hadoop成功安装HAWQ安装,我的想法正确吗

如果hadoop应该安装在hawq master上,那么哪一个是正确的

1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.

任何帮助都将不胜感激

老实说,如果hadoop和hawq配置正确,那么它们的安装方式没有严格的限制

出于您的考虑,“我认为hawq master应该构建在hadoop之上,但与hadoop master没有任何联系”。依我看,应该是“hawq应该建立在hadoop之上”。我们还配置了hawq主conf文件(hawqsite.xml),以使hawq与hadoop建立连接

通常,对于hawq主机和hadoop主机,我们可以在一个节点上安装每个组件,但是我们可以在一个节点上安装一些组件来保存节点。但对于HDFS数据节点和HAWQ段,我们通常将它们一起安装。考虑到每台机器的工作负载,我们可以按如下方式安装它们:

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment
如果您使用纱线集成配置hawq,集群中将有resourcemanager和nodemanager

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment
将它们安装在一起并不意味着它们有连接,是您的配置文件使它们能够相互联系。 您可以同时安装所有的主部件,但是对于机器来说可能太重了。阅读有关ApacheHawq的更多信息,并阅读一些文档


此外,您可以订阅开发人员和用户邮件列表,向开发人员发送电子邮件-subscribe@hawq.incubator.apache.org/用户-subscribe@hawq.incubator.apache.org订阅并发送电子邮件至dev@hawq.incubator.apache.org / user@hawq.incubator.apache.org问问题。

老实说,如果hadoop和hawq配置正确,那么它们的安装方式没有严格的限制

出于您的考虑,“我认为hawq master应该构建在hadoop之上,但与hadoop master没有任何联系”。依我看,应该是“hawq应该建立在hadoop之上”。我们还配置了hawq主conf文件(hawqsite.xml),以使hawq与hadoop建立连接

通常,对于hawq主机和hadoop主机,我们可以在一个节点上安装每个组件,但是我们可以在一个节点上安装一些组件来保存节点。但对于HDFS数据节点和HAWQ段,我们通常将它们一起安装。考虑到每台机器的工作负载,我们可以按如下方式安装它们:

                     hadoop             hawq
 hadoop-master       namenode           hawq standby
 hawq-master         secondarynamenode  hawq master
 other node          datanode           segment
如果您使用纱线集成配置hawq,集群中将有resourcemanager和nodemanager

                     hadoop role                hawq role
 hadoop-master       namenode                   hawq standby
 hawq-master         snamenode,resourcemanager  hawq master
 other node          datanode, nodemanager      segment
将它们安装在一起并不意味着它们有连接,是您的配置文件使它们能够相互联系。 您可以同时安装所有的主部件,但是对于机器来说可能太重了。阅读有关ApacheHawq的更多信息,并阅读一些文档

此外,您可以订阅开发人员和用户邮件列表,向开发人员发送电子邮件-subscribe@hawq.incubator.apache.org/用户-subscribe@hawq.incubator.apache.org订阅并发送电子邮件至dev@hawq.incubator.apache.org / user@hawq.incubator.apache.org问问题