Hadoop 通过带数据节点故障切换的webhdfs的webrequest
我有hadoop集群,hadoop版本为Apache2.7.1 高可用性,由五个节点组成 mn1,mn2,dn1,dn2,dn3 如果我们正在从浏览器中访问wbhdfs以打开一个名为myfile的文件,该文件的复制因子为3 以及dn1、dn2和dn3上的出口 我们从浏览器发出以下命令Hadoop 通过带数据节点故障切换的webhdfs的webrequest,hadoop,hadoop-2.7.2,Hadoop,Hadoop 2.7.2,我有hadoop集群,hadoop版本为Apache2.7.1 高可用性,由五个节点组成 mn1,mn2,dn1,dn2,dn3 如果我们正在从浏览器中访问wbhdfs以打开一个名为myfile的文件,该文件的复制因子为3 以及dn1、dn2和dn3上的出口 我们从浏览器发出以下命令 http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN 因此,mn1将此请求重定向到dn1或dn2或dn3 我们得到了
http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN
因此,mn1将此请求重定向到dn1或dn2或dn3
我们得到了文件
我们也可以通过以下命令从hadoop获取该文件
hdfs dfs -cat /hadoophome/myfile
但在数据节点发生故障的情况下(假设dn1和dn3现在已关闭)
如果我们发出命令
hdfs dfs -cat /hadoophome/myfile
我们可以检索该文件
但如果我们从浏览器发出webhdfs命令,这就是我的状态
http://mn1:50070/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN
mn1会将请求重定向到已失效的dn1或dn3,有时会将请求重定向到dn2,我可以检索文件
mn1不应该只将webhdfs请求重定向到活动数据节点吗
如何处理这个错误
是否应该从应用程序处理它?编辑hdfs-site.xml
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>10000</value>
</property>
所以
超时=2*(10秒)+10*3秒=50秒
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>10000</value>
</property>
所以
超时时间=2*(10秒)+10*3秒=50秒