hdfs上的Hbase表大小为实际输入文件的X 4

hdfs上的Hbase表大小为实际输入文件的X 4,hbase,hdfs,Hbase,Hdfs,我是这个论坛和hdfs/hbase的新手 我已经在hdfs上的hbase中创建了一个表。加载的文件在windows磁盘上有1000万条记录,大小为1GB。在hdfs上加载文件时,hdfs中的表大小为:- root@narmada:~/agni/hdfs/hadoop-1.1.2# ./bin/hadoop fs -dus /hbase/hdfs_10M hdfs://192.168.5.58:54310/hbase/hdfs_10M 4143809619 有人能帮你缩小尺寸吗 表格

我是这个论坛和hdfs/hbase的新手

我已经在hdfs上的hbase中创建了一个表。加载的文件在windows磁盘上有1000万条记录,大小为1GB。在hdfs上加载文件时,hdfs中的表大小为:-

root@narmada:~/agni/hdfs/hadoop-1.1.2# ./bin/hadoop fs -dus /hbase/hdfs_10M
hdfs://192.168.5.58:54310/hbase/hdfs_10M       4143809619
有人能帮你缩小尺寸吗

表格详情

DESCRIPTION                                                                                                  ENABLED
 'hdfs_10M', {NAME => 'v', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',  true
 VERSIONS => '3', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DELETED_CELLS => 'fa
 lse', BLOCKSIZE => '65536', IN_MEMORY => 'false', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'true'}
1 row(s) in 0.2340 seconds

通常,当我们在HDFS上加载文件时,它会将文件分成大小相同的块。默认情况下,此块大小为64mb。Hadoop维护每个块的3个副本,这意味着如果我们想在HDFS上存储1TB大小的文件,我们需要一个硬件来存储3TB。每个块将存储在三个不同的数据节点上

参考:

如果不需要复制数据,请在hbase和hadoop配置文件中放置以下属性

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

dfs.replication
1.

我来这里是想得到一些答案P