Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/xcode/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop fs.checkpoint.dir和dfs.name.dir之间有什么区别?_Hadoop_Hdfs - Fatal编程技术网

Hadoop fs.checkpoint.dir和dfs.name.dir之间有什么区别?

Hadoop fs.checkpoint.dir和dfs.name.dir之间有什么区别?,hadoop,hdfs,Hadoop,Hdfs,主要是dfs.name.dir属性用于将namenode的fsimage存储到特定位置进行备份,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。谁能给我详细解释一下吗 dfs.name.dir是namenode在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中 fs.checkpoint.dir是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这

主要是dfs.name.dir属性用于将namenode的fsimage存储到特定位置进行备份,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。谁能给我详细解释一下吗

dfs.name.dir
是namenode在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中

fs.checkpoint.dir
是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。这不是一个强制性的位置。如果没有这个目录,hadoop集群也将启动。这将位于辅助namenode主机中

fsimage和edit日志通过secondary namenode定期合并。如果不存在次映像,则只有在重新启动namenode时才会合并fsimage和editlogs


有关次要名称节点的说明,请参见此

dfs。name.dir
是名称节点在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中

fs.checkpoint.dir
是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。这不是一个强制性的位置。如果没有这个目录,hadoop集群也将启动。这将位于辅助namenode主机中

fsimage和edit日志通过secondary namenode定期合并。如果不存在次映像,则只有在重新启动namenode时才会合并fsimage和editlogs


有关辅助名称节点的说明,请参见此

dfs.name.dir

它已被弃用,并替换为dfs.namenode.name.dir。它确定DFS名称节点应在本地文件系统的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制名称表,以实现冗余

此属性由名称节点使用

fs.checkpoint.dir

它已被弃用,并被dfs.namenode.checkpoint.dir取代。它确定DFS次要名称节点应在本地文件系统的何处存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余

次名称节点定期合并fsimage和编辑日志文件,并将编辑日志大小保持在限制范围内。它通常在与主名称节点不同的计算机上运行,因为它的内存需求与主名称节点的顺序相同

次要名称节点将最新检查点存储在目录中,该目录的结构与主要名称节点的目录相同。因此,如果需要,检查点图像始终可以由主名称节点读取

NameNode将从dfs.NameNode.checkpoint.dir目录上载检查点,然后将其保存到dfs.NameNode.name.dir中设置的NameNode目录

如果合法映像包含在dfs.NameNode.name.dir中,则NameNode将失败

NameNode验证dfs.NameNode.checkpoint.dir中的映像是否一致,但不会以任何方式修改它


请参阅

dfs.name.dir

它已被弃用,并替换为dfs.namenode.name.dir。它确定DFS名称节点应在本地文件系统的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制名称表,以实现冗余

此属性由名称节点使用

fs.checkpoint.dir

它已被弃用,并被dfs.namenode.checkpoint.dir取代。它确定DFS次要名称节点应在本地文件系统的何处存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余

次名称节点定期合并fsimage和编辑日志文件,并将编辑日志大小保持在限制范围内。它通常在与主名称节点不同的计算机上运行,因为它的内存需求与主名称节点的顺序相同

次要名称节点将最新检查点存储在目录中,该目录的结构与主要名称节点的目录相同。因此,如果需要,检查点图像始终可以由主名称节点读取

NameNode将从dfs.NameNode.checkpoint.dir目录上载检查点,然后将其保存到dfs.NameNode.name.dir中设置的NameNode目录

如果合法映像包含在dfs.NameNode.name.dir中,则NameNode将失败

NameNode验证dfs.NameNode.checkpoint.dir中的映像是否一致,但不会以任何方式修改它