Hadoop 如何*真正*从hdfs中回收磁盘空间
第一步是Hadoop 如何*真正*从hdfs中回收磁盘空间,hadoop,hdfs,Hadoop,Hdfs,第一步是 hdfs dfs -rmr <path> 目前还不清楚它实际执行的是什么,因为之后我们仍然看到: $ hdfs dfs -du -h 279.4 G .Trash 那么。。如何使.Trash一劳永逸..删除时尝试-skiptrash选项。这将永远删除。似乎删除会导致安排垃圾收集 请注意,创建了垃圾的检查点。有点令人担忧的是清空器间隔为0。那么,什么时候才能真正删除数据 以下是core site.xml设置(这是SOF找到它们的答案): 间隔 0 检查点关闭后的分钟
hdfs dfs -rmr <path>
目前还不清楚它实际执行的是什么,因为之后我们仍然看到:
$ hdfs dfs -du -h
279.4 G .Trash
那么。。如何使
.Trash
一劳永逸..删除时尝试-skiptrash选项。这将永远删除。似乎删除
会导致安排垃圾收集
请注意,创建了垃圾的检查点。有点令人担忧的是清空器间隔
为0。那么,什么时候才能真正删除数据
以下是core site.xml
设置(这是SOF找到它们的答案):
间隔
0
检查点关闭后的分钟数
被删除。
如果为零,垃圾箱功能将被禁用。
fs.trash.checkpoint.interval
0
垃圾站检查点之间的分钟数。
应小于或等于fs.trash.interval。
每次检查点程序运行时,它都会创建一个新的检查点
超出当前值并删除创建的检查点超过
几分钟前。
我正在研究将这些值设置为零的实际效果。即使启用了垃圾桶
功能,这似乎也与此不一致
$ hdfs dfs -du -h
279.4 G .Trash
hdfs dfs -expunge
15/08/30 19:34:32 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 360 minutes, Emptier interval = 0 minutes.
15/08/30 19:34:32 INFO fs.TrashPolicyDefault: Created trash checkpoint: /user/stack/.Trash/150830193432
<property>
<name>fs.trash.interval</name>
<value>0</value>
<description>Number of minutes after which the checkpoint
gets deleted.
If zero, the trash feature is disabled.
</description>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>0</value>
<description>Number of minutes between trash checkpoints.
Should be smaller or equal to fs.trash.interval.
Every time the checkpointer runs it creates a new checkpoint
out of current and removes checkpoints created more than
fs.trash.interval minutes ago.
</description>
</property>