Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/cmake/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
hadoop安装的不同方式_Hadoop_Installation - Fatal编程技术网

hadoop安装的不同方式

hadoop安装的不同方式,hadoop,installation,Hadoop,Installation,我是hadoop新手,正在尝试在本地机器上安装它。我看到安装hadoop有很多方法,比如安装vmware Horton works,然后再安装hadoop,或者安装Oracle virtual box、Cloudera,然后安装hadoop。我的问题是运行Hadoop是否必须安装虚拟机? 换句话说,hadoop是否仅在Linux操作系统(如Ubuntu、Redhat等)上运行,或者我是否可以直接在Windows上安装hadoop(不带ant virtual box)?Virtualbox或vmw

我是hadoop新手,正在尝试在本地机器上安装它。我看到安装hadoop有很多方法,比如安装vmware Horton works,然后再安装hadoop,或者安装Oracle virtual box、Cloudera,然后安装hadoop。我的问题是运行Hadoop是否必须安装虚拟机?
换句话说,hadoop是否仅在Linux操作系统(如Ubuntu、Redhat等)上运行,或者我是否可以直接在Windows上安装hadoop(不带ant virtual box)?

Virtualbox
vmware
不是安装/配置hadoop所必需的。通常,人们使用Virtualbox创建多个虚拟机,并设置hadoop集群进行实验


Hadoop在Redhat/ubuntu以外的操作系统上运行,例如Mac操作系统、Windows

Hadoop在Unix和Windows上运行。Linux是唯一受支持的生产平台,但其他风格的Unix(包括Mac OS X)可用于运行Hadoop进行开发。Windows仅作为开发平台受支持,另外还需要Cygwin才能运行

如果您有Linux操作系统,您可以直接安装Hadoop并开始工作。 如果您有Windows操作系统,但不了解Linux(但最终您必须学习),那么您可以使用virtual box或vmware在您的Windows机器上运行虚拟Linux机器

使用Horton works或Cloudera发行版是您的首选,并且是在Hadoop之上的


另外,如果您在某台远程计算机上安装了集群,那么您只需要putty,就可以从shell中试用所有hadoop功能:)。

谢谢您的回复。我被另一个问题弄糊涂了。比方说,如果我安装了Hadoop单节点群集(我的本地windows计算机),而没有安装任何vmware或virtualbox。由于hadoop使用HDFS体系结构存储数据,在windows上安装hadoop时是否对我的操作系统进行了自定义?我读到hadoop中的块大小是64MB,而传统Windows操作系统中的块大小是4KB。如果我在本地机器上运行hadoop,并行处理的概念是如何工作的,这是大数据的关键概念/解决方案。hadoop进程/守护进程是JVM(即java进程),它们只是运行在操作系统之上的应用程序。安装hadoop不会改变您的操作系统。在HDFS中,我们可以设置适合应用程序的块大小(默认值为64M)。在Hadoop中,数据处理的基本单元是HDFS块(而不是OS块)。Hadoop的关键概念——并行处理可以特别在多节点集群中实现——数据存储在多台机器/节点上,并在@time处理。因此,并行处理感谢回复。我被另一个问题弄糊涂了。比方说,如果我安装了Hadoop单节点群集(我的本地windows计算机),而没有安装任何vmware或virtualbox。由于hadoop使用HDFS体系结构存储数据,在windows上安装hadoop时是否对我的操作系统进行了自定义?我读到hadoop中的块大小是64MB,而传统Windows操作系统中是4KB。如果我在本地机器上运行hadoop,并行处理的概念是如何工作的?这是大数据的关键概念/解决方案。64MB是hadoop处理的方式。正如您提到的,操作系统有自己的块大小-4k。尽管最终数据是按照操作系统设计存储的,但Hadoop将负责将数据分成64个数据块,然后根据自己的算法进行检索。这会对你有更多帮助