Hadoop 如何使用ResourceManager HA wrt HORTOWRK向纱线集群提交MR作业';什么是HDP?

Hadoop 如何使用ResourceManager HA wrt HORTOWRK向纱线集群提交MR作业';什么是HDP?,hadoop,hdfs,yarn,hadoop2,high-availability,Hadoop,Hdfs,Yarn,Hadoop2,High Availability,我试图了解如何向Hadoop cluster提交MR作业,基于纱线 案例1: 对于只有一个ResourceManager(即没有HA)的情况,我们可以像这样提交工作(我实际使用了它,我相信它是正确的) 可以看出,RM在端口8032上运行,NN在54310上运行,我指定主机名是因为只有一个主机 案例2: 现在,对于NN和RM都有HA的情况,如何提交作业?我无法理解这一点,因为现在我们有两个RM和NN(主动/备用),我知道有zookeeper来跟踪故障。因此,从试图提交作业的客户机角度来看,我是否需

我试图了解如何向Hadoop cluster提交MR作业,基于纱线

案例1: 对于只有一个ResourceManager(即没有HA)的情况,我们可以像这样提交工作(我实际使用了它,我相信它是正确的)

可以看出,RM在端口8032上运行,NN在54310上运行,我指定主机名是因为只有一个主机

案例2: 现在,对于NN和RM都有HA的情况,如何提交作业?我无法理解这一点,因为现在我们有两个RM和NN(主动/备用),我知道有zookeeper来跟踪故障。因此,从试图提交作业的客户机角度来看,我是否需要知道提交作业的确切NN和RM,或者是否需要使用某些逻辑命名来提交作业


有人能帮我理解这一点吗?

无论是否有HA,提交作业的命令都是一样的

hadoop jar <jar> <mainClass> <inputpath> <outputpath> [args]

非常感谢您的帮助,这是否意味着我们必须在客户端配置Java类(按照上面的配置)?如果我们不这样做,会有一些问题吗?如果不提供,客户将无法接触到当前的活动NN。
hadoop jar <jar> <mainClass> <inputpath> <outputpath> [args]
<property>
  <name>dfs.client.failover.proxy.provider.<nameserviceID></name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>