Amazon ec2 在EC2群集上安装Hbase/Hadoop

我知道我可以在安装了Hadoop的情况下衍生出EC2集群（除非我错了）。Hbase怎么样？我可以把Hadoop和Hbase预先制作好吗？还是我需要把手弄脏。如果不是一个选项，那么最好的选项是什么？Cloudera显然有一个包含这两者的软件包。这是路吗

---

感谢您的帮助。

据我所知，在EC2上运行hbase最简单、最快速的方法是使用。您知道Amazon Elastic MapReduce吗？它不提供Hbase，但它提供了简单的Hadoop、Hive和Pig（在相当新的版本中）。最大的好处是，他们在90%的节点运行之前不会开始向您收费，缺点是每小时比正常的EC2稍高一点

---

如果您真的需要/想要使用HBase，那么您最好自己开发一些东西。有关Hive和Hbase集成的讨论，请参阅以下Cloudera博客帖子：

Hbase有一套ec2脚本，可以让您快速安装并准备就绪。它允许您配置zk服务器和从属节点的数量，但我不确定它们在哪个版本中可用。我用的是0.20.6。设置一些S3/EC2信息后，您可以执行以下操作：

/usr/local/hbase-0.20.6/contrib/ec2/bin/launch-hbase-cluster CLUSTERNAME服务器

快速开始使用集群。这很好，因为它也会为您安装LZO信息

下面是bin目录中环境文件中的一些参数，这些参数可能很有用（如果您想要20.6 AMI）：

#要使用的HBase版本。
HBASE_版本=0.20.6
#要使用的Hadoop版本。
HADOOP_版本=0.20.2
#存储HBase AMI的amazons3存储桶。
#只有在创建自己的（私有）AMI时才更改此值
#所以你可以把它放在你自己的桶里。
#S3_BUCKET=apache hbase映像
S3_铲斗=720040977164
#启用公共访问web界面
启用\u WEB\u端口=false
#额外包裹
#允许您添加私有的Yum repo并从中提取包作为您的
#实例启动。格式是。。。
#存储库描述符将被提取到/etc/yum/repos.d中。
额外包装=
#除非您知道自己在做什么，否则只能使用c1.xlarge
MASTER_INSTANCE_TYPE=${MASTER_INSTANCE_TYPE:-c1.xlarge}
#除非您知道自己在做什么，否则只能使用c1.xlarge
SLAVE_INSTANCE_TYPE=${SLAVE_INSTANCE_TYPE:-c1.xlarge}
#除非你知道自己在做什么，否则只能使用c1.M
ZOO_实例类型=${ZOO_实例类型：-c1.medium}

---

如果ami中没有设置java_HOME，那么您可能还需要设置java版本（我认为没有）。较新版本的hbase可能在S3存储桶中提供，只需对实例进行描述并对hadoop/hbase进行grep即可缩小结果范围。

您可以拥有任何想要的。。。启动服务器，在其上安装任何需要的设备，创建映像并保存。然后，您可以在已安装软件的情况下启动该服务器的无限副本。虽然您可以这样做，但我下面的回答已经准备好了一个预制作的映像，但您可能希望保存自己的映像版本，以便随时可以访问它，以防另一个被删除。检查此链接，可能是它的全部帮助我们已决定使用EMR。这是很容易使用的，这是肯定的。我将把HBase推迟到以后。MySql目前看起来还不错。迟早我会调查的；希望到那时EC2将有一个蜂巢产品。好东西，谢谢你的更新。让我们知道您是如何找到它的。您可能已经看到了这一点，但EMR现在提供HBase和Hive。

# The version of HBase to use.
HBASE_VERSION=0.20.6

# The version of Hadoop to use.
HADOOP_VERSION=0.20.2

# The Amazon S3 bucket where the HBase AMI is stored.
# Change this value only if you are creating your own (private) AMI
# so you can store it in a bucket you own.
#S3_BUCKET=apache-hbase-images
S3_BUCKET=720040977164

# Enable public access web interfaces
ENABLE_WEB_PORTS=false

# Extra packages
# Allows you to add a private Yum repo and pull packages from it as your
# instances boot up. Format is <repo-descriptor-URL> <pkg1> ... <pkgN>
# The repository descriptor will be fetched into /etc/yum/repos.d.
EXTRA_PACKAGES=

# Use only c1.xlarge unless you know what you are doing
MASTER_INSTANCE_TYPE=${MASTER_INSTANCE_TYPE:-c1.xlarge}

# Use only c1.xlarge unless you know what you are doing
SLAVE_INSTANCE_TYPE=${SLAVE_INSTANCE_TYPE:-c1.xlarge}

# Use only c1.medium unless you know what you are doing
ZOO_INSTANCE_TYPE=${ZOO_INSTANCE_TYPE:-c1.medium}