Hadoop 如何增加hdfs容量

如何将hadoop DFS的配置容量从默认的50GB增加到100GB

我目前的设置是hadoop 1.2.1，在centOS6机器上运行，使用了120GB和450GB。已将hadoop设置为PSUDDistributed模式，并使用“hadoop最终指南3'rd”建议的/conf。 hdfs-site.xml只有一个配置的属性：

   <configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>

如果我在regen循环中（已执行

 rm -rf /tmp/hadoop-myUserId  

  start-all.sh
  hadoop namenode -format

在尝试“从头开始”）的过程中，setSpaceQuota似乎成功了，只要我执行了

 rm -rf /tmp/hadoop-myUserId  

  start-all.sh
  hadoop namenode -format

我的dfs容量配置失败显示为

 hadoop dfsadmin -report

显示相同的50GB配置容量

如果这是目前获得100GB hdfs配置容量的最佳方式，我愿意切换到Hadoop2.2（现在是稳定版本）。

---

似乎hdfs-site.xml应该有一个配置属性，它允许我使用更多的空闲分区。

将hdfs的位置设置为具有更多可用空间的分区。 对于hadoop-1.2.1，这可以通过在中设置hadoop.tmp.dir来完成 hadoop-1.2.1/conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
     </property>
   <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/myUserID/hdfs</value>
    <description>base location for other hdfs directories.</description>
   </property>
</configuration>

成功的实施是由

mkdir ~/hdfs
df -P ~/hdfs | tail -1 | cut -d' ' -f 1

stop-all.sh
start-dfs.sh
hadoop namenode -format
start-all.sh
hadoop dfsadmin -report

它将hdfs的大小报告为my_home分区的大小

---

感谢jtravaglini的评论/提示。

停止所有服务：Stop-all.sh

然后在hdfs-site.xml中增加存储大小，添加以下属性：

---

dfs.disk.balancer.enabled
真的
dfs.storage.policy.enabled
真的
dfs.blocksize
        134217728
dfs.namenode.handler.count
        100
 
dfs.namenode.name.dir
         file:///usr/local/hadoop_store/hdfs/namenode
dfs.datanode.data.dir
file:///usr/local/hadoop_store/hdfs/datanode，[磁盘]file:///hadoop_store2/hdfs/datanode

---

还记得将[disk]放在文件夹中，以便在文件夹中包含额外的磁盘，将[ssd]放在专用的额外ssd驱动器上。始终记得检查“//”三个“/”的目录指向

此后,

通过给出一个命令，格式化namenode以获取Hadoop集群中继承的设置

hadoop名称节点-格式 然后从头开始启动服务： Start-all.sh

---

“/*记住，在不格式化hdfs的情况下，设置将不会被激活，因为它将在dfs.datanode.data.dir中搜索区块池Id（BP_Id），而对于新位置，它将找不到任何BP_Id。“/*

您的本地linux文件系统表是什么样子的？hdfs站点中dfs.datanode.data.dir的值是多少？确保配置为承载数据目录的本地linux分区的空间大于50GB。