将边缘节点配置为在专用网络上运行的群集上启动Hadoop作业

将边缘节点配置为在专用网络上运行的群集上启动Hadoop作业,hadoop,cloudera,Hadoop,Cloudera,我正在尝试将边缘节点设置到工作场所的群集。集群是CDH 5.*Hadoop纱线。它有自己的内部专用高速网络。边缘节点位于专用网络之外 我运行了hadoop客户端设置步骤,并配置了核心站点.xml sudoapt-get安装hadoop客户端 由于集群托管在自己的专用网络上,因此内部网络中的IP地址不同。 10.100.100.1-名称模式 10.100.100.2-数据节点1 10.100.100.4-数据节点2 100.100.100.6-日期节点3 为了处理这个问题,我请求集群管理员将以下属

我正在尝试将边缘节点设置到工作场所的群集。集群是CDH 5.*Hadoop纱线。它有自己的内部专用高速网络。边缘节点位于专用网络之外

我运行了hadoop客户端设置步骤,并配置了核心站点.xml
sudoapt-get安装hadoop客户端

由于集群托管在自己的专用网络上,因此内部网络中的IP地址不同。 10.100.100.1-名称模式 10.100.100.2-数据节点1 10.100.100.4-数据节点2 100.100.100.6-日期节点3

为了处理这个问题,我请求集群管理员将以下属性添加到namenode上的hdfs-site.xml中,以便侦听端口不只是对内部IP范围开放:

<property>
  <name>dfs.namenode.servicerpc-bind-host</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>dfs.namenode.http-bind-host</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>dfs.namenode.https-bind-host</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>dfs.namenode.rpc-bind-host</name>
  <value>0.0.0.0</value>
</property>
同一错误消息重复多次

为了安全起见,我从集群数据节点复制了其余的xml,即hdfs-site.xml、warn-site.xml、mapred-site.xml。但我还是犯了同样的错误。有没有人知道这个错误,或者如何让边缘节点在运行在专用网络上的集群上工作

边缘节点的用户名为“administrator”,而群集是使用“hduser”id配置的。这可能是个问题吗?我已经在边缘节点和名称节点之间配置了无密码登录

*administrator@administrator-Virtual-Machine:/etc/hadoop/conf.empty$ hadoop fs -cat /user/hduser/testData/XML_Flows/test/test_input/*
*15/05/04 15:39:02 WARN hdfs.BlockReaderFactory: I/O error constructing remote block reader.
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.100.100.6:50010]
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:532)
    at org.apache.hadoop.hdfs.DFSClient.newConnectedPeer(DFSClient.java:3035)
    at org.apache.hadoop.hdfs.BlockReaderFactory.nextTcpPeer(BlockReaderFactory.java:744)
    at org.apache.hadoop.hdfs.BlockReaderFactory.getRemoteBlockReaderFromTcp(BlockReaderFactory.java:659)
    at org.apache.hadoop.hdfs.BlockReaderFactory.build(BlockReaderFactory.java:327)
    at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:574)
    at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:797)
    at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:844)
    at java.io.DataInputStream.read(DataInputStream.java:100)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:78)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:52)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:112)
    at org.apache.hadoop.fs.shell.Display$Cat.printToStdout(Display.java:104)
    at org.apache.hadoop.fs.shell.Display$Cat.processPath(Display.java:99)
    at org.apache.hadoop.fs.shell.Command.processPaths(Command.java:306)
    at org.apache.hadoop.fs.shell.Command.processPathArgument(Command.java:278)
    at org.apache.hadoop.fs.shell.Command.processArgument(Command.java:260)
    at org.apache.hadoop.fs.shell.Command.processArguments(Command.java:244)
    at org.apache.hadoop.fs.shell.Command.processRawArguments(Command.java:190)
    at org.apache.hadoop.fs.shell.Command.run(Command.java:154)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:287)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)
15/05/04 15:39:02 WARN hdfs.DFSClient: Failed to connect to /10.100.100.6:50010 for block, add to deadNodes and continue. org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.100.100.6:50010]
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.100.100.6:50010]*