高可用性在Hadoop集群中不起作用

高可用性在Hadoop集群中不起作用,hadoop,hdfs,cloudera,high-availability,Hadoop,Hdfs,Cloudera,High Availability,我正在尝试将非HA名称节点移动到HA。在按照ApacheHadoop文档设置JournalNode的所有配置之后,我能够启动namenodes。但是,namenodes会立即崩溃并抛出以下错误 错误org.apache.hadoop.hdfs.server.namenode.namenode:无法启动namenode。 java.io.IOException:编辑日志中似乎有一个缺口。我们预计txid为43891997,但得到了txid 45321534 我试图恢复编辑日志,初始化共享编辑等,但

我正在尝试将非HA名称节点移动到HA。在按照ApacheHadoop文档设置JournalNode的所有配置之后,我能够启动namenodes。但是,namenodes会立即崩溃并抛出以下错误

错误org.apache.hadoop.hdfs.server.namenode.namenode:无法启动namenode。 java.io.IOException:编辑日志中似乎有一个缺口。我们预计txid为43891997,但得到了txid 45321534

我试图恢复编辑日志,初始化共享编辑等,但没有任何效果。我不知道如何在不格式化namenode的情况下解决此问题,因为我不想丢失任何数据


非常感谢您的帮助。提前感谢。

问题在于linux机器上打开的文件数量有限。我增加了打开文件的限制,然后共享编辑的初始化工作正常。

问题在于linux机器上打开文件的限制。我增加了打开文件的限制,然后共享编辑的初始化工作正常。

您是否尝试过在恢复模式下启动namenode?hadoop namenode-恢复如果返回到单NN模式,它是否工作良好?恢复不工作。我尝试重置所有配置,并在前一个唯一的非HA namenode上执行“-InitializeSharedIts”,但它引发了以下错误,并且从未完成。“java.nio.file.FileSystemException:/data/hadoop/hdfs/nn/current/edits_u0000000000045188575-0000000000045188576:打开的文件太多”。然后我还在新的备用名称节点上尝试了“-bootstrapStandby”,它抛出了错误“编辑日志中的间隙”。我不知道这里少了什么。任何帮助,如果感谢。备用节点在出现以下错误后立即崩溃。我不知道他们为什么不能同步。“org.apache.hadoop.util.ExitUtil:正在退出,状态为1:java.io.IOException:编辑日志中似乎存在漏洞。我们预期的是txid 45188575,但得到的是txid 45657087。”您尝试过在恢复模式下启动namenode吗?hadoop namenode-恢复如果返回到单NN模式,它是否工作良好?恢复不工作。我尝试重置所有配置,并在前一个唯一的非HA namenode上执行“-InitializeSharedIts”,但它引发了以下错误,并且从未完成。“java.nio.file.FileSystemException:/data/hadoop/hdfs/nn/current/edits_u0000000000045188575-0000000000045188576:打开的文件太多”。然后我还在新的备用名称节点上尝试了“-bootstrapStandby”,它抛出了错误“编辑日志中的间隙”。我不知道这里少了什么。任何帮助,如果感谢。备用节点在出现以下错误后立即崩溃。我不知道他们为什么不能同步。“org.apache.hadoop.util.ExitUtil:正在退出,状态为1:java.io.IOException:编辑日志中似乎存在漏洞。我们预期的是txid 45188575,但得到的是txid 45657087。”