Hive windows上的配置单元必须使用Cygwin

Hive windows上的配置单元必须使用Cygwin,hive,cygwin,Hive,Cygwin,我已经在我的Windows7机器上安装了Hadoop 2.5.2。需求是在hadoop上加载平面文件,处理平面文件上的数据,并从中呈现报告。决定采用的技术有Hadoop 2.5.2、Spark和Hive。但是,在windows上使用配置单元时,我们需要使用Cygwin(因为配置单元是为unix环境开发的,要使用它,我们需要Cygwin)。这里的问题是,我们可以在没有Cygwin的情况下在windows上使用Hive,还是在windows上使用Hive还有其他选择。 我们不想使用Cygwin的原因

我已经在我的Windows7机器上安装了Hadoop 2.5.2。需求是在hadoop上加载平面文件,处理平面文件上的数据,并从中呈现报告。决定采用的技术有Hadoop 2.5.2、Spark和Hive。但是,在windows上使用配置单元时,我们需要使用Cygwin(因为配置单元是为unix环境开发的,要使用它,我们需要Cygwin)。这里的问题是,我们可以在没有Cygwin的情况下在windows上使用Hive,还是在windows上使用Hive还有其他选择。 我们不想使用Cygwin的原因是我们需要在Cygwin下进行所有安装和文件

谢谢,
Santha

Hadoop构建在Linux之上。Linux是开源的,您可以使用Linux库和其他开源基础设施来创建新的“开源”工具和系统。 它是在Linux上的,这就是为什么它是开源的,可以免费下载,否则我们就得花很多钱去买它。 您也可以在windows上运行Hadoop

ApacheHadoop(2.2及以后版本)支持windows,但它仍然没有在该配置中部署

原因:

1.Apache Hadoop在Windows上的成熟度

2.成本效益(想象几个k节点X许可证)

3.运行不受支持的软件也是如此

4.这导致企业回避Hadoop本身(CDH、HDP、MapR、Pivotal HD正在填补这一空白)

5.那些不回避ApacheHadoop的组织也不会在Linux上这样做

对于Hive,请从Cloudera下载hadoop集群,如构建在Linux操作系统上的CDH3、4、5。他们已经安装了Hive

使用VMware或任何其他工具在Windows中通过Cloudera运行计算机

您的需求解决方案:

第一种选择你可以自己安装hadoop。(谷歌)

第二种选择由任何供应商使用虚拟机(Cloudera、Horton Works等) 在那台机器上,你可以很容易地安装蜂巢,但我认为它们也提供了包括蜂巢在内的基本工具


例如,Cloudera提供的CDH3提供了基本机器,提供了hive 0.8(不是最新版本)

是的,您可以。请记住,教程告诉您使用cygwin运行脚本,因为Hive社区在执行windows bat或cmd文件之前变得懒惰

sqoop也会发生类似的情况。它在windows上运行,但windows脚本有一些bug


只要在hadoop上配置hive,依赖关系就会得到解决。如果需要运行命令,可以在linux中运行,然后获得生成的工件。

感谢您的回复!正如我在问题中所说,我已经在windows上安装了hadoop,我想在同一台机器上安装Hive。可以和Cygwin一起使用Hive吗?或者我们还有其他选择吗。是的,你可以在cygwinSorry上安装hive。有一个输入错误,我想输入没有Cygwin的hive可以工作吗?没有。hive需要hadoop,hadoop需要基于linux的环境。这是因为hive在HDFS(hadoop文件系统)中存储数据,元数据使用RDMS存储。谷歌关于蜂巢结构,你会得到更多。