Java hadoop中的块池

我在阅读Hadoop教程时，对Hadoop中的块池产生了怀疑

块池-基本上每个块池都是彼此独立管理的，每个块池都是属于单个命名空间的一组块。

---

块池是虚拟概念还是类似于内存中维护的块上的metadat

它是关于每个数据块的元数据

hadoop中的文件被划分为块，然后这些块存储在不同的数据节点上。但要再次访问这些数据，我们需要知道这些数据块存储在哪里。namenode在块池的帮助下完成这项工作

因此，块池是hadoop集群上每个文件的每个块的元数据。它们存储在namenode的内存中，而不是磁盘上。因此，如果namenode关闭，则需要重建此信息

现在在Hadoop Federation中，我们有了多个名称空间的概念。不同的名称节点负责不同的名称空间。假设我们有两台机器作为名称节点，如下所示：

First namenode（NN1）处理命名空间/财务下的所有文件，即财务部门的所有数据

类似地，第二个namenode（NN2）处理命名空间/accounts下的accounts department数据

---

现在，要管理/finance名称空间下的文件块，只需要NN1。因此，只有NN1需要具有/finance命名空间的区块池。类似地，要了解/accounts下的文件，我们只需要NN2。只有NN2将具有/accounts命名空间的块池。因此，它们独立运行。

每个数据块的元数据是

hadoop中的文件被划分为块，然后这些块存储在不同的数据节点上。但要再次访问这些数据，我们需要知道这些数据块存储在哪里。namenode在块池的帮助下完成这项工作

因此，块池是hadoop集群上每个文件的每个块的元数据。它们存储在namenode的内存中，而不是磁盘上。因此，如果namenode关闭，则需要重建此信息

现在在Hadoop Federation中，我们有了多个名称空间的概念。不同的名称节点负责不同的名称空间。假设我们有两台机器作为名称节点，如下所示：

First namenode（NN1）处理命名空间/财务下的所有文件，即财务部门的所有数据

类似地，第二个namenode（NN2）处理命名空间/accounts下的accounts department数据

---

现在，要管理/finance名称空间下的文件块，只需要NN1。因此，只有NN1需要具有/finance命名空间的区块池。类似地，要了解/accounts下的文件，我们只需要NN2。只有NN2将具有/accounts命名空间的块池。因此，它们独立运行。

块池拥有关于Hadoop集群中每个块和每个文件数据的信息。块池将每个块的元数据存储在内存中，以便更快地访问，而不是存储在磁盘上。众所周知，Hadoop将每个文件划分为块序列，并将它们存储在不同的数据节点上。每个块都有一定的大小，即在Hadoop 1中，块大小为64 MB，在Hadoop 2中，我们使用块大小为128 MB。如果namenode关闭或操作失败，则hadoop集群中的用户或管理员将无法获得全部信息

在Hadoop中块池在哪里开始使用

Hadoop联合使用多个名称空间的概念。名称空间由不同的名称节点维护

考虑在管理、开发和其他领域的组织中维护数据的场景。因此，我们有一个或多个namenodes来监视用户所做的操作

在本例中，hadoop集群中有两个NameNode

First Namenode表示NN1处理/Administration命名空间下的所有文件，即管理帐户的所有数据

类似地，第二个Namenode表示NN2处理/Development下开发帐户的所有数据

因此，为了查看administration帐户下所有文件的块，只需要NN1来查看/administration命名空间的块池。要查看/开发中的文件，我们只需要NN2。所以这两个块池是相互独立的。因此，他们独立地作出反应

---

我希望所有阅读该问题的人都能清楚地理解这些概念。

块池拥有Hadoop集群中每个块和每个文件数据的信息。块池将每个块的元数据存储在内存中，以便更快地访问，而不是存储在磁盘上。众所周知，Hadoop将每个文件划分为块序列，并将它们存储在不同的数据节点上。每个块都有一定的大小，即在Hadoop 1中，块大小为64 MB，在Hadoop 2中，我们使用块大小为128 MB。如果namenode关闭或操作失败，则hadoop集群中的用户或管理员将无法获得全部信息

在Hadoop中块池在哪里开始使用

Hadoop联合使用多个名称空间的概念。名称空间由不同的名称节点维护

考虑在管理、开发和其他领域的组织中维护数据的场景。因此，我们有一个或多个namenodes来监视用户所做的操作

在本例中，hadoop集群中有两个NameNode

First Namenode表示NN1处理/Administration命名空间下的所有文件，即管理帐户的所有数据

类似地，第二个Namenode表示NN2处理/Development下开发帐户的所有数据

因此，为了查看administration帐户下所有文件的块，只需要NN1来查看/administration命名空间的块池。要查看/开发中的文件，我们只需要NN2。所以这两个街区的游泳池