Hadoop fs.checkpoint.dir和dfs.name.dir之间有什么区别?
主要是dfs.name.dir属性用于将namenode的fsimage存储到特定位置进行备份,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。谁能给我详细解释一下吗Hadoop fs.checkpoint.dir和dfs.name.dir之间有什么区别?,hadoop,hdfs,Hadoop,Hdfs,主要是dfs.name.dir属性用于将namenode的fsimage存储到特定位置进行备份,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。谁能给我详细解释一下吗 dfs.name.dir是namenode在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中 fs.checkpoint.dir是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这
dfs.name.dir
是namenode在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中
fs.checkpoint.dir
是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。这不是一个强制性的位置。如果没有这个目录,hadoop集群也将启动。这将位于辅助namenode主机中
fsimage和edit日志通过secondary namenode定期合并。如果不存在次映像,则只有在重新启动namenode时才会合并fsimage和editlogs
有关次要名称节点的说明,请参见此
dfs。name.dir
是名称节点在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中
fs.checkpoint.dir
是本地文件系统上的目录,DFS次要名称节点应在其中存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。这不是一个强制性的位置。如果没有这个目录,hadoop集群也将启动。这将位于辅助namenode主机中
fsimage和edit日志通过secondary namenode定期合并。如果不存在次映像,则只有在重新启动namenode时才会合并fsimage和editlogs
有关辅助名称节点的说明,请参见此dfs.name.dir 它已被弃用,并替换为dfs.namenode.name.dir。它确定DFS名称节点应在本地文件系统的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制名称表,以实现冗余 此属性由名称节点使用 fs.checkpoint.dir 它已被弃用,并被dfs.namenode.checkpoint.dir取代。它确定DFS次要名称节点应在本地文件系统的何处存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余 次名称节点定期合并fsimage和编辑日志文件,并将编辑日志大小保持在限制范围内。它通常在与主名称节点不同的计算机上运行,因为它的内存需求与主名称节点的顺序相同 次要名称节点将最新检查点存储在目录中,该目录的结构与主要名称节点的目录相同。因此,如果需要,检查点图像始终可以由主名称节点读取 NameNode将从dfs.NameNode.checkpoint.dir目录上载检查点,然后将其保存到dfs.NameNode.name.dir中设置的NameNode目录 如果合法映像包含在dfs.NameNode.name.dir中,则NameNode将失败 NameNode验证dfs.NameNode.checkpoint.dir中的映像是否一致,但不会以任何方式修改它
请参阅dfs.name.dir 它已被弃用,并替换为dfs.namenode.name.dir。它确定DFS名称节点应在本地文件系统的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制名称表,以实现冗余 此属性由名称节点使用 fs.checkpoint.dir 它已被弃用,并被dfs.namenode.checkpoint.dir取代。它确定DFS次要名称节点应在本地文件系统的何处存储要合并的临时映像。如果这是以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余 次名称节点定期合并fsimage和编辑日志文件,并将编辑日志大小保持在限制范围内。它通常在与主名称节点不同的计算机上运行,因为它的内存需求与主名称节点的顺序相同 次要名称节点将最新检查点存储在目录中,该目录的结构与主要名称节点的目录相同。因此,如果需要,检查点图像始终可以由主名称节点读取 NameNode将从dfs.NameNode.checkpoint.dir目录上载检查点,然后将其保存到dfs.NameNode.name.dir中设置的NameNode目录 如果合法映像包含在dfs.NameNode.name.dir中,则NameNode将失败 NameNode验证dfs.NameNode.checkpoint.dir中的映像是否一致,但不会以任何方式修改它 指