了解Hadoop快照功能

我试图理解Hadoop快照（）的机制。 不幸的是，官方网站apache上的信息量非常有限，所以在这里发布消息

我在Hadoop集群上尝试了这个功能。 在获取快照之前，我尝试使用

hdfs dfsadmin-report

实用程序：

[hdfs@bda11node01 ~]$ hdfs dfsadmin -report
...
DFS Used: 15521319604094 (14.12 TB)

我对durrectory

/tmp

进行快照，并获取子目录：

[hdfs@bda11node01 ~]$ hadoop fs -du -s -h  /tmp/.snapshot/snap3
5.1 T  /tmp/.snapshot/snap3

让我吃惊的第一件事是快照的大小和拍摄快照的时间。时间很快就过去了，尺寸也一样。 第二件让我吃惊的事情是hdfs实用程序的报告：

[hdfs@bda11node01 ~]$ hdfs dfsadmin -report
    ...
    DFS Used: 15521319604094 (14.12 TB)

在此之后，我从/tmp dir中删除一个子目录并运行恢复。。。这个目录被找到了。。。但我不明白怎么做。有人能描述更多的细节吗？

---

谢谢

HDFS快照类似于结构共享，因为新快照没有数据复制，只有指向源快照的指针（更准确地说是inode中的新记录）。它只在记录任何数据的修改（HDFS的追加和截断）上使用。这类似于许多快照实现所使用的写时拷贝（COW）

它对设计有很好的讨论，包括HDFS设计文档本身*注意：所讨论的RW快照尚未实现