在hadoop集群中,是否应在所有节点上安装配置单元?

在hadoop集群中,是否应在所有节点上安装配置单元?,hadoop,cluster-computing,hive,Hadoop,Cluster Computing,Hive,我是Hadoop/Hive的新手,我刚刚开始阅读文档。有很多关于在集群模式下安装Hadoop的博客。另外,我知道Hive运行在Hadoop之上。 我的问题是:Hadoop安装在所有集群节点上。我应该在所有群集节点上安装配置单元还是只在主节点上安装配置单元?不,它不是您在工作节点上安装的。Hive是一个Hadoop客户端。只需按照您在上看到的说明运行Hive。来自: 在提交作业的客户端计算机上安装配置单元;您不需要在Hadoop集群中的节点上安装它 Hive基本上用于处理Hadoop中的结构化和半

我是Hadoop/Hive的新手,我刚刚开始阅读文档。有很多关于在集群模式下安装Hadoop的博客。另外,我知道Hive运行在Hadoop之上。
我的问题是:Hadoop安装在所有集群节点上。我应该在所有群集节点上安装配置单元还是只在主节点上安装配置单元?

不,它不是您在工作节点上安装的。Hive是一个Hadoop客户端。只需按照您在上看到的说明运行Hive。

来自:

在提交作业的客户端计算机上安装配置单元;您不需要在Hadoop集群中的节点上安装它


Hive基本上用于处理Hadoop中的结构化和半结构化数据。我们还可以使用配置单元对HDFS和AmazonS3文件系统中存在的大型数据集进行分析。为了查询数据,hive还提供了类似于SQL的查询语言HiveQL。使用配置单元,您可以轻松地为数据分析运行特别查询。使用配置单元,我们不需要编写复杂的MapReduce作业,只需要提交SQL查询。配置单元将这些SQL查询转换为MapReduce作业


最后,配置单元SQL将转换为MapReduce作业,我们不必从Hadoop集群中的所有节点提交MapReduce作业,同样,我们也不需要在Hadoop集群的所有节点中安装配置单元

感谢Sean的快速回复。这帮我澄清了我的疑问。添加到Sean-Hive中会将HiveQL转换为客户端的MR作业,Hadoop框架不会意识到Hive。Pig/Pig拉丁语也是如此。谢谢。在my Thread cluster的从属机器中安装了hive,并且查询成功转换为MR作业。这篇文章用图像解释了hive将查询转换为MapReduce作业,那么没有hadoop cluster MapReduce作业如何运行?比如说,我在S3上有hive,我在hive上运行query,它被转换成MapReduce,如果我没有运行的集群,这是如何工作的?@Arun-它没有。你不能“在S3上有蜂巢”。可以将S3用作hadoop的文件系统,但是使用S3的hadoop集群必须是安装了hadoop的计算节点的实际集群。