Hadoop 安装Hue而不使用Cloudera

Hadoop 安装Hue而不使用Cloudera,hadoop,cloudera,hue,Hadoop,Cloudera,Hue,有没有人在没有Cloudera的情况下尝试/成功地在Hadoop上安装了Hue 我已经到了可以用hbase和hive可靠地复制hadoop集群的地步,并且可以在大约15分钟内完成所有设置。我很想让色调与所有这些一起使用,而不必返回并使用Cloudera重新进行设置。遵循Hortonworks文档中的说明,它将逐步介绍如何手动操作。签出幻灯片#19和#5,色调无处不在,并且与Hadoop 0.20/1.2.0/2.0兼容: 色调有tarball版本,您可以免费安装。您还可以简单地克隆源代码(Hue

有没有人在没有Cloudera的情况下尝试/成功地在Hadoop上安装了Hue

我已经到了可以用hbase和hive可靠地复制hadoop集群的地步,并且可以在大约15分钟内完成所有设置。我很想让色调与所有这些一起使用,而不必返回并使用Cloudera重新进行设置。

遵循Hortonworks文档中的说明,它将逐步介绍如何手动操作。

签出幻灯片#19和#5,色调无处不在,并且与Hadoop 0.20/1.2.0/2.0兼容:

色调有tarball版本,您可以免费安装。您还可以简单地克隆源代码(Hue是开源的,获得Apache许可)github:并构建您想要的分支

上游文件是CDH或CDH的文件

色调也被包装在(因此基于香草Hadoop)

Hue是一个Web服务器(基于Django),它充当Hadoop之上的视图。因此,只需安装Hue,然后通过添加NameNode、JobTracker、Resource Manager、Oozie、HiveServer等主机进行配置。。。等的色调

此外,如上所述,您需要的版本可能取决于您的配置单元版本

请注意,如果没有Cloudera的分布,您的里程数可能会有所不同,但请随意加入色调或;)

我们还看到亚马逊AWS/EMR改进了色调设置

引用:“…如果没有Cloudera的分发,您的里程可能会有所不同…”

事实上,它会有很大的不同!似乎以下情况是完全正确的:

根据安装指南:

注: Hue需要Cloudera发行版中包含的Hadoop,包括ApacheHadoop(CDH),版本3更新4或更高版本

我试过了,遇到了色相的墙壁,试图连接到蜂巢、猪和OOZIE

在这个阶段——至少从我的经验来看——Hue不会在使用标准Apache工具(如Hive和Pig)的标准Apache Hadoop安装上运行。这一定是Cloudera发行版的一个年份


如果有人有在Cloudera发行版之外安装Hue的任何其他(积极的)经验,我很有兴趣了解他们…

使用apache hadoop 2.4.1构建并运行Hue 3.6.0

  • git clone(注意!releases/tag/release-3.6.0不稳定,最好从最新的主版本构建。我从87d6b2da1年8月7日开始构建-它稳定)

  • cd色调

  • $vi maven/pom.xml

  • 将hadoop.version更改为2.4.1
  • 用hadoop common替换hadoop内核
  • 将hadoop测试版本设置为1.2.1

  • 删除需要hadoop mr1的文件

  • $rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java

  • $rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/thriftfs/ThriftJobTrackerPlugin.java

  • 构建色调
    $make应用程序

  • 配置色调
    $vi桌面/conf/pseudo distributed.ini

  • 在开发模式下运行色调服务器
    $build/env/bin/hue运行服务器0.0.0.0:8000


  • 它不认为必须配置HDP repo(yum-install-hue)吗。我认为最初的查询是关于在Apache Hadoop上安装Hue,而不是在第三方Hadoop(如Cloudera/HortonWorks)上。是的,这确实假设配置了HDP,但是您可以跳过它,自己获取rpm-s并继续安装。将我的说明添加到github Cloudera Hue wiki中,如果您只使用hive,就可以了。但是如果你想使用其他工具,这是不够的。github上的色调回购不包括oozie。如果没有Oozie,hue就无法连接pig、hbase、spark等。gethue.com现在在其“下载”和“配置”菜单中提供了许多发行版的指南。上述答案中提供的链接可访问tumblr网站。你需要修理它们。