hdfs上的Hbase表大小为实际输入文件的X 4
我是这个论坛和hdfs/hbase的新手 我已经在hdfs上的hbase中创建了一个表。加载的文件在windows磁盘上有1000万条记录,大小为1GB。在hdfs上加载文件时,hdfs中的表大小为:-hdfs上的Hbase表大小为实际输入文件的X 4,hbase,hdfs,Hbase,Hdfs,我是这个论坛和hdfs/hbase的新手 我已经在hdfs上的hbase中创建了一个表。加载的文件在windows磁盘上有1000万条记录,大小为1GB。在hdfs上加载文件时,hdfs中的表大小为:- root@narmada:~/agni/hdfs/hadoop-1.1.2# ./bin/hadoop fs -dus /hbase/hdfs_10M hdfs://192.168.5.58:54310/hbase/hdfs_10M 4143809619 有人能帮你缩小尺寸吗 表格
root@narmada:~/agni/hdfs/hadoop-1.1.2# ./bin/hadoop fs -dus /hbase/hdfs_10M
hdfs://192.168.5.58:54310/hbase/hdfs_10M 4143809619
有人能帮你缩小尺寸吗
表格详情
DESCRIPTION ENABLED
'hdfs_10M', {NAME => 'v', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', true
VERSIONS => '3', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DELETED_CELLS => 'fa
lse', BLOCKSIZE => '65536', IN_MEMORY => 'false', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'true'}
1 row(s) in 0.2340 seconds
通常,当我们在HDFS上加载文件时,它会将文件分成大小相同的块。默认情况下,此块大小为64mb。Hadoop维护每个块的3个副本,这意味着如果我们想在HDFS上存储1TB大小的文件,我们需要一个硬件来存储3TB。每个块将存储在三个不同的数据节点上 参考: 如果不需要复制数据,请在hbase和hadoop配置文件中放置以下属性
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
dfs.replication
1.
我来这里是想得到一些答案P