Amazon web services HBase:复制粘贴目录有效吗?
我计划建立一个hadoop/hbase集群,并试图找出要使用的ec2 intance类型和EBS空间 我一开始和你一起去Amazon web services HBase:复制粘贴目录有效吗?,amazon-web-services,amazon-ec2,hbase,hdfs,Amazon Web Services,Amazon Ec2,Hbase,Hdfs,我计划建立一个hadoop/hbase集群,并试图找出要使用的ec2 intance类型和EBS空间 我一开始和你一起去 1台主机(m1.小型) 2个从机(m1.小型) 我不希望在我的网站上同时有超过100个用户(这算不上什么大问题?) 嗯,我会将20 GB的EBS块分别连接到主块和从块。这些EBS块将包含来自HDFS和HBase的数据存储和日志 hbase的路径应类似于/mnt/hadoop/hbase/root,其中/mnt/hadoop是安装EBS块的目录(例如/dev/sda) 最终
- 1台主机(m1.小型)
- 2个从机(m1.小型)
/mnt/hadoop/hbase/root
,其中/mnt/hadoop
是安装EBS块的目录(例如/dev/sda
)
最终,这个空间将被填满,当我意识到20GB更少时,我将创建一个60GB(/dev/sdb
)并将其连接到磁盘。现在,我将把所有内容从/dev/sda
复制到/dev/sdb
,最后将/dev/sdb
装载到/mnt/hadoop
HDFS/HBase在进行此更改后是否有任何差异?这样做是合法的还是不被鼓励的
如何在HBase/HDFS写入数据时增加设备的存储 HBase和Hadoop都不能阻止您这样做。它只是相应地更改配置参数。不过你需要小心
但是,当你确信自己将达到极限时,为什么要这样做呢?预防胜于治疗,IMHO。看看Amazon Elastic MapReduce。它有一个HBase选项,负责您的备份、恢复和其他管理tasks@Guy:我们不能在EMR上的HBase中有m1.5个小实例。我们可以吗?不可以。HBase的最小值是m1。大:如果你不需要很多流量,你也可以检查DynamoDB,因为你可以使用它的空闲层和如此小的容量