Amazon web services 亚马逊上的WebHCat'；什么是电子病历？

在Amazon弹性MapReduce集群上运行是否可行或可取

---

我是这项技术的新手，我想知道是否可以使用WebHCat作为REST接口来运行配置单元查询。有问题的集群正在运行配置单元。

我没有测试它，但它应该是可行的

EMR允许自定义引导操作，即脚本在节点启动的地方运行。您可以使用引导操作来安装其他软件和更改集群上应用程序的配置 有关更多详细信息，请参阅

我将创建一个shell脚本来安装WebHCat，并首先在常规EC2实例上测试您的脚本（在EMR的上下文之外-作为确保脚本正常的测试）

您可以使用EC2测试脚本，通常是：

#/bin/bash
卷曲http://path_to_your_install_script.sh |sh

然后，一旦您知道该脚本正在工作，就将其作为集群的自定义引导操作在S3存储桶上提供给集群

---

--Seb

我无法让它工作，但WebHCat实际上默认安装在Amazon的EMR实例上

要使其运行，您必须执行以下操作：

chmod u+x /home/hadoop/hive/hcatalog/bin/hcat
chmod u+x /home/hadoop/hive/hcatalog/sbin/webhcat_server.sh
export TEMPLETON_HOME=/home/hadoop/.versions/hive-0.11.0/hcatalog/
export HCAT_PREFIX=/home/hadoop/.versions/hive-0.11.0/hcatalog/
/home/hadoop/hive/hcatalog/webhcat_server.sh start

然后可以使用curl确认它正在50111端口上运行

curl -i http://localhost:50111/templeton/v1/status

要在其他机器上点击50111，您必须在EC2 EMR安全组中打开端口

然后，在hcatalog中运行查询时，必须配置要“代理”的用户。我实际上没有保存此配置，但它是。我希望他们在那里有一些具体的例子，但基本上我最终将本地“hadoop”用户配置为运行查询的用户，我确信这不是最安全的事情，但我只是尝试让它启动并运行

尝试查询时出现了此错误

{“错误”：“服务器IPC版本9无法与客户端版本通信 4“}

解决方法是关闭最新的EMR映像（Hadoop 2.2.0为3.0.4）并切换到Hadoop 1.0映像（Hadoop 1.0.3为2.4.2）

然后我遇到了另一个问题，它无法正确地找到配置单元jar，在与配置进行了更多的斗争之后，我决定投入足够的时间来尝试使其工作，并决定直接与配置单元通信（使用RBHive for Ruby和JDBC for JVM）

为了回答我自己的问题，可以在EMR上运行WebHCat，但它根本没有文档记录（谷歌搜索一点结果都没有，这就是为什么我首先创建了这个问题，它是当前搜索“WebHCat EMR”时的第一个热门问题），WebHCat文档还有很多需要改进的地方。让它发挥作用似乎是一件痛苦的事情，尽管我希望通过写下最初的步骤，有人会走出来，然后在剩下的过程中完成，并发布一个完整的答案