Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在笔记本电脑中安装Hadoop、Pig和hive_Hadoop_Hive_Apache Pig - Fatal编程技术网

在笔记本电脑中安装Hadoop、Pig和hive

在笔记本电脑中安装Hadoop、Pig和hive,hadoop,hive,apache-pig,Hadoop,Hive,Apache Pig,我想在我的笔记本电脑上安装hadoop、pig和hive。我不知道如何安装和配置hadoop、pig和hive,以及需要什么软件来完成 请让我知道在笔记本电脑中安装/配置Hadoop、Pig和hive所需的确切步骤 我可以使用windows操作系统,并在windows操作系统中安装hadoop。对于初学者,我建议坚持使用一个好的预先打包的hadoop发行版/沙盒。即使您想在使用Hadoop集群提供的工具(如Hive等)之前了解如何设置Hadoop集群,至少在开始时,设置公共分发版要容易得多 用于

我想在我的笔记本电脑上安装hadoop、pig和hive。我不知道如何安装和配置hadoop、pig和hive,以及需要什么软件来完成

请让我知道在笔记本电脑中安装/配置Hadoop、Pig和hive所需的确切步骤


我可以使用windows操作系统,并在windows操作系统中安装hadoop。对于初学者,我建议坚持使用一个好的预先打包的hadoop发行版/沙盒。即使您想在使用Hadoop集群提供的工具(如Hive等)之前了解如何设置Hadoop集群,至少在开始时,设置公共分发版要容易得多

用于Hadoop的预打包沙盒将出现在Linux中。但最有可能的是,如果您从这些沙箱开始使用Hadoop,就不需要在Linux中做很多工作。就我个人而言,我认为通过避免Windows端口上的支持和文档问题而节省的时间将大大弥补跳入Linux所需的任何额外工作,并且您至少将进入Linux领域,Linux本身是一个极其重要的工具

对于预包装的解决方案,您可以尝试针对或,因为这些是最广泛使用的发行版。通过使用沙盒,您将跳过安装过程(如果您不知道自己想要什么,特别是如果您不熟悉Linux,安装过程可能会很繁忙),直接使用工具。由于Cloudera和MapR等大型供应商提供了良好的文档,因此您在访问想要学习的工具时也将面临较少的问题

按照特定于供应商的设置指南(也在下载页面上作为入门指南列出)了解有关设置沙箱的更多详细信息

一旦你有了沙箱设置,你可以使用很多不同的方式来访问蜂巢和猪。您可以为配置单元使用命令行界面(称为beeline)。如果您熟悉JDBC,可以通过它访问Hive。安装Apache Thrift以启用更广泛的访问选项,但您也可以将其保存到以后

我不推荐学习Pig,除非你对它有特别的用途。如果您熟悉Java(或Scala,甚至Python,以及其他选项),请尝试编写一些Map-Reduce样式的作业来了解Hadoop的工作原理。打开Ambari(或Cloudera Manger等)界面,该界面预先配置了这些沙盒,并查看随沙盒预先打包的工具和服务。这些是最常见的,可以作为初学者的有用列表。开始了解它们(但如果可以,跳过Pig,即使它是预安装的;)


一旦您熟悉了沙箱,我建议您使用ApacheNIFI,它具有更简单的学习曲线,并提供了很大的灵活性。但是您很可能需要为此设置一个新的沙箱。它也可以作为一个很好的学习复习练习。将其与您的Hadoop沙箱集成,实施一些适当的用例,您将有一些良好的经验来展示。

但我不想使用第三方工具,如VBox等。我想在我的笔记本电脑中安装。您需要在笔记本电脑上安装Linux来实现此目的,您的问题表明您对Linux不太熟悉。如果您能够管理它,那么在您自己的集群上设置单节点设置是不会停止的。即便如此,我还是会推荐一家主要供应商的以下步骤,比如Cloudera,他们的网站上列出了这些步骤。这样,您将在安装过程中在线找到大量支持。