RemoteException(org.apache.hadoop.ipc.StandbyException)
我有一个由4个节点组成的集群RemoteException(org.apache.hadoop.ipc.StandbyException),hadoop,hdfs,high-availability,Hadoop,Hdfs,High Availability,我有一个由4个节点组成的集群 nn1 nn2 dn1 dn2 nn1,nn2名称节点 node-01是nn1的主机名,node-02是nn2的主机名。 当nn1处于活动状态时,nn2处于待机状态。我可以在spark上成功运行程序,如下所示: bin/spark-submit \ --class test.Test1 \ --master spark://node-01:7077 \ --deploy-mode cluster \ --total-executor-cores 2 \ --e
- nn1
- nn2
- dn1
- dn2
- nn1,nn2名称节点李>
node-01
是nn1
的主机名,node-02
是nn2
的主机名。
当nn1
处于活动状态时,nn2
处于待机状态。我可以在spark上成功运行程序,如下所示:
bin/spark-submit \
--class test.Test1 \
--master spark://node-01:7077 \
--deploy-mode cluster \
--total-executor-cores 2 \
--executor-memory 1G \
--total-executor-cores 2 \
hdfs://node-01:9000/jar/a.jar
但当nn1
处于待机状态且nn2
处于活动状态时,会出现异常:
{“RemoteException”:{“message”:“在待机状态下不支持读取操作类别”,“exception”:“RemoteException”,“javaClassName”:“org.apache.hadoop.ipc.RemoteException”}
当nn1
和nn2
更改其状态时,如何继续使用相同的命令行
非常感谢。当HDFS在高可用性模式下运行时,必须使用适当的语法,即
hdfs://cluster_alias/jar/a.jar
其中集群别名
在hdfs站点中有详细定义。xmlok,我知道,谢谢。