Hadoop 我的Dataproc群集(版本-1.4.0-debian9)HA模式不工作

Hadoop 我的Dataproc群集(版本-1.4.0-debian9)HA模式不工作,hadoop,google-cloud-platform,yarn,high-availability,google-cloud-dataproc,Hadoop,Google Cloud Platform,Yarn,High Availability,Google Cloud Dataproc,我使用image1.4.0-debian9和所有必需的HA配置创建了一个Dataproc群集,但看起来活动RM无法与备用RM同步,因此在故障切换时会丢失节点标签详细信息、在其上运行的节点等信息 尽管同一级别的配置在我的Ambari集群上运行良好 非常感谢您的帮助。这是一个将近1年的映像,您应该使用最新的Dataproc1.4-debian映像创建群集,而不是硬编码subminor映像版本: CLUSTER\u名称= 区域= gcloud dataproc集群创建$CLUSTER\u NAME--

我使用image1.4.0-debian9和所有必需的HA配置创建了一个Dataproc群集,但看起来活动RM无法与备用RM同步,因此在故障切换时会丢失节点标签详细信息、在其上运行的节点等信息

尽管同一级别的配置在我的Ambari集群上运行良好


非常感谢您的帮助。

这是一个将近1年的映像,您应该使用最新的Dataproc
1.4-debian
映像创建群集,而不是硬编码subminor映像版本:

CLUSTER\u名称=
区域=
gcloud dataproc集群创建$CLUSTER\u NAME--image version=1.4-debian--region=$region

这是一个几乎有1年历史的映像,您应该使用最新的Dataproc
1.4-debian
映像创建群集,而不是硬编码subminor映像版本:

CLUSTER\u名称=
区域=
gcloud dataproc集群创建$CLUSTER\u NAME--image version=1.4-debian--region=$region

感谢您的回复,Igor。这是dataproc 1.4.0版的已知问题吗?从我开始这个集群的那天起,我就面临这个问题,但它只是为了开发,所以我一开始就忽略了。我不确定,但这个问题可能是在1.4.0发布后的新subminor版本中修复的,即1.4.22。我也试着与支持团队交谈,但他们似乎不知道这个问题,我认为dataproc处理HA的方式可能会给我带来一些问题。所以我刚刚用dataproc映像版本1.4.22-debian9启动了一个新集群,但我再次遇到了同样的问题。谢谢,Igor。它正在工作。JournalNode在hdfs中写入节点标签统计信息时遇到权限问题。感谢您的回复,Igor。这是dataproc 1.4.0版的已知问题吗?从我开始这个集群的那天起,我就面临这个问题,但它只是为了开发,所以我一开始就忽略了。我不确定,但这个问题可能是在1.4.0发布后的新subminor版本中修复的,即1.4.22。我也试着与支持团队交谈,但他们似乎不知道这个问题,我认为dataproc处理HA的方式可能会给我带来一些问题。所以我刚刚用dataproc映像版本1.4.22-debian9启动了一个新集群,但我再次遇到了同样的问题。谢谢,Igor。它正在工作。JournalNode在hdfs中写入节点标签统计信息时出现权限问题。请添加用于创建群集的完整命令(包括您设置的所有属性)。另外,什么在HA模式下不起作用?请添加用于创建集群的完整命令(包括您设置的所有属性)。另外,在HA模式下,什么不起作用?