Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/sqlite/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何*真正*从hdfs中回收磁盘空间_Hadoop_Hdfs - Fatal编程技术网

Hadoop 如何*真正*从hdfs中回收磁盘空间

Hadoop 如何*真正*从hdfs中回收磁盘空间,hadoop,hdfs,Hadoop,Hdfs,第一步是 hdfs dfs -rmr <path> 目前还不清楚它实际执行的是什么,因为之后我们仍然看到: $ hdfs dfs -du -h 279.4 G .Trash 那么。。如何使.Trash一劳永逸..删除时尝试-skiptrash选项。这将永远删除。似乎删除会导致安排垃圾收集 请注意,创建了垃圾的检查点。有点令人担忧的是清空器间隔为0。那么,什么时候才能真正删除数据 以下是core site.xml设置(这是SOF找到它们的答案): 间隔 0 检查点关闭后的分钟

第一步是

hdfs dfs -rmr <path>
目前还不清楚它实际执行的是什么,因为之后我们仍然看到:

$ hdfs dfs -du -h
279.4 G  .Trash

那么。。如何使
.Trash
一劳永逸..

删除时尝试-skiptrash选项。这将永远删除。

似乎
删除
会导致安排垃圾收集

请注意,创建了垃圾的检查点。有点令人担忧的是
清空器间隔
0。那么,什么时候才能真正删除数据

以下是
core site.xml
设置(这是SOF找到它们的答案):


间隔
0
检查点关闭后的分钟数
被删除。
如果为零,垃圾箱功能将被禁用。
fs.trash.checkpoint.interval
0
垃圾站检查点之间的分钟数。
应小于或等于fs.trash.interval。
每次检查点程序运行时,它都会创建一个新的检查点
超出当前值并删除创建的检查点超过
几分钟前。
我正在研究将这些值设置为零的实际效果。即使启用了
垃圾桶
功能,这似乎也与此不一致

$ hdfs dfs -du -h
279.4 G  .Trash
hdfs dfs -expunge
15/08/30 19:34:32 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 360 minutes, Emptier interval = 0 minutes.
15/08/30 19:34:32 INFO fs.TrashPolicyDefault: Created trash checkpoint: /user/stack/.Trash/150830193432
<property>
  <name>fs.trash.interval</name>
  <value>0</value>
  <description>Number of minutes after which the checkpoint
  gets deleted.
  If zero, the trash feature is disabled.
  </description>
</property>

<property>
  <name>fs.trash.checkpoint.interval</name>
  <value>0</value>
  <description>Number of minutes between trash checkpoints.
  Should be smaller or equal to fs.trash.interval.
  Every time the checkpointer runs it creates a new checkpoint 
  out of current and removes checkpoints created more than 
  fs.trash.interval minutes ago.
  </description>
</property>