Hadoop HDFS'；位置意识

导言

根据多份文件，HDFS的位置感知是指了解节点的物理位置，并在不同机架上复制数据，以减少因电源和/或交换机问题等引起的机架问题的影响

问题

---

HDFS如何知道节点和机架的物理位置，并随后决定将数据复制到位于其他机架上的节点？

有人需要知道数据节点在网络拓扑中的位置，并使用该信息智能地决定数据副本应存在于群集中的位置。“某人”是节点的名称

名称节点存储此信息，并且是命名空间的名称

NameNode是HDFS文件系统的核心。它保留文件系统中所有文件的目录树，并跟踪文件数据在集群中的存放位置。它本身不存储这些文件的数据

---

客户机应用程序希望定位文件时，或希望添加/复制/移动/删除文件时，都会与NameNode通信。NameNode通过返回数据所在的相关DataNode服务器的列表来响应成功的请求。

有人需要知道数据节点在网络拓扑中的位置，并使用该信息对数据副本在群集中的位置做出智能决策。“某人”是节点的名称

名称节点存储此信息，并且是命名空间的名称

NameNode是HDFS文件系统的核心。它保留文件系统中所有文件的目录树，并跟踪文件数据在集群中的存放位置。它本身不存储这些文件的数据

---

客户机应用程序希望定位文件时，或希望添加/复制/移动/删除文件时，都会与NameNode通信。NameNode通过返回数据所在的相关DataNode服务器的列表来响应成功的请求。

有人需要知道数据节点在网络拓扑中的位置，并使用该信息对数据副本在群集中的位置做出智能决策。“某人”是节点的名称

名称节点存储此信息，并且是命名空间的名称

NameNode是HDFS文件系统的核心。它保留文件系统中所有文件的目录树，并跟踪文件数据在集群中的存放位置。它本身不存储这些文件的数据

---

客户机应用程序希望定位文件时，或希望添加/复制/移动/删除文件时，都会与NameNode通信。NameNode通过返回数据所在的相关DataNode服务器的列表来响应成功的请求。

有人需要知道数据节点在网络拓扑中的位置，并使用该信息对数据副本在群集中的位置做出智能决策。“某人”是节点的名称

名称节点存储此信息，并且是命名空间的名称

NameNode是HDFS文件系统的核心。它保留文件系统中所有文件的目录树，并跟踪文件数据在集群中的存放位置。它本身不存储这些文件的数据

---

客户机应用程序希望定位文件时，或希望添加/复制/移动/删除文件时，都会与NameNode通信。NameNode通过返回数据所在的相关DataNode服务器列表来响应成功的请求。

在设置集群时配置机架感知。这可以为每个节点手动完成，也可以通过脚本完成

每个

DataNode

都有一个网络位置，它是一个简单的字符串，很像文件系统路径

示例：

datacenter-1/rack-1/node1
datacenter-1/rack-1/node2
datacenter-1/rack-2/node3

---

然后，

NameNode

使用每个

DataNode

的网络位置构建网络拓扑（基本上是树结构）。然后使用此拓扑确定块副本放置

在设置集群时配置机架感知。这可以为每个节点手动完成，也可以通过脚本完成

每个

DataNode

都有一个网络位置，它是一个简单的字符串，很像文件系统路径

示例：

datacenter-1/rack-1/node1
datacenter-1/rack-1/node2
datacenter-1/rack-2/node3

---

然后，

NameNode

使用每个

DataNode

的网络位置构建网络拓扑（基本上是树结构）。然后使用此拓扑确定块副本放置

在设置集群时配置机架感知。这可以为每个节点手动完成，也可以通过脚本完成

每个

DataNode

都有一个网络位置，它是一个简单的字符串，很像文件系统路径

示例：

datacenter-1/rack-1/node1
datacenter-1/rack-1/node2
datacenter-1/rack-2/node3

---

然后，

NameNode

使用每个

DataNode

的网络位置构建网络拓扑（基本上是树结构）。然后使用此拓扑确定块副本放置

在设置集群时配置机架感知。这可以为每个节点手动完成，也可以通过脚本完成

每个

DataNode

都有一个网络位置，它是一个简单的字符串，很像文件系统路径

示例：

datacenter-1/rack-1/node1
datacenter-1/rack-1/node2
datacenter-1/rack-2/node3

然后，

NameNode

使用每个

DataNode

的网络位置构建网络拓扑（基本上是树结构）。然后使用此拓扑确定块副本放置