Hadoop 在伪分布式或多节点群集环境上安装Apache Hive

Hadoop 在伪分布式或多节点群集环境上安装Apache Hive,hadoop,hive,hbase,hdfs,hadoop2,Hadoop,Hive,Hbase,Hdfs,Hadoop2,我已经在我的电脑的多节点环境中安装了hadoop,如下所示 1:4个使用ubuntu加载的虚拟盒实例(14.04) 2:1主节点、2从节点和剩余vm实例作为客户端 注意:所有4个虚拟机都在我的电脑中运行 我能够在上面提到的安装程序上成功地完成apace-2.6 hadoop安装。现在我想安装hive,以便进行一些数据汇总、查询和分析 但我不确定我必须如何继续下去。我有以下几点疑问: 问题1:是否需要在所有节点(主节点/名称节点和从节点/数据节点)上安装/设置Apache Hive(0.14)?还

我已经在我的电脑的多节点环境中安装了hadoop,如下所示

1:4个使用ubuntu加载的虚拟盒实例(14.04) 2:1主节点、2从节点和剩余vm实例作为客户端 注意:所有4个虚拟机都在我的电脑中运行

我能够在上面提到的安装程序上成功地完成apace-2.6 hadoop安装。现在我想安装hive,以便进行一些数据汇总、查询和分析

但我不确定我必须如何继续下去。我有以下几点疑问:

问题1:是否需要在所有节点(主节点/名称节点和从节点/数据节点)上安装/设置Apache Hive(0.14)?还是仅在主节点上

问题2:处理元存储应该使用什么模式?是本地模式还是远程模式

问题3:如果我想在hive元存储中使用mysql,我应该将其安装在master/name节点本身上,还是需要使用单独的客户端机器

如果配置metastore需要遵循任何步骤,请有人也和我分享一下?在多节点/伪分布式环境中

比尔,
San

您只需安装一次所需的配置单元服务(HiveServer2、Metastore、WebHCat)。在您的实验室场景中,您可能会将它们放在主机上。然后,客户端可以运行Beeline(HiveServer2客户端)

如果将Metastore配置为本地,则配置单元将使用本地Derby数据库。同样,对于您的实验室设置,这可能正是您需要/想要的

在生产场景中,您将

  • 为支持不应使用namenode进程争夺资源的服务设置专用服务器
  • 并为Metastore数据库使用专用数据库服务器,该数据库将是远程的

关于您的答案,我想咨询一下。我正在使用lxc创建集群。您能描述一下用于生产的集群体系结构吗?我已经准备好Hadoop集群(1个namenode,2个从属)。或者提供如何在生产环境中正确配置配置配置单元多节点群集的链接?谢谢