Rest webhdfs两步上传文件

Rest webhdfs两步上传文件,rest,hadoop,webhdfs,Rest,Hadoop,Webhdfs,我构建了一个包含4台机器的hadoop群集: {hostname}:{ip地址} 硕士学位:192.168.1.60 奴隶1:192.168.1.61 奴隶2:192.168.1.62 奴隶3:192.168.1.63 我使用HttpFS以restful的方式将一个文件上传到hdfs,其中包含两个步骤来完成任务 步骤1:提交HTTP POST请求,而不自动执行重定向,也不发送文件数据 curl-i-X POST“” 服务器返回的结果如下: 地点: 步骤2:使用响应地址上载文件 在步骤

我构建了一个包含4台机器的hadoop群集:

  • {hostname}:{ip地址}
  • 硕士学位:192.168.1.60
  • 奴隶1:192.168.1.61
  • 奴隶2:192.168.1.62
  • 奴隶3:192.168.1.63
我使用HttpFS以restful的方式将一个文件上传到hdfs,其中包含两个步骤来完成任务

  • 步骤1:提交HTTP POST请求,而不自动执行重定向,也不发送文件数据

    curl-i-X POST“”

服务器返回的结果如下:

地点:

  • 步骤2:使用响应地址上载文件

在步骤1中,如何获取数据节点的ip地址(192.168.1.61)而不是主机名(slave1)?

如果您的hadoop版本>=2.5,在每个datanode配置${hadoop_HOME}/etc/hadoop/hdfs site.xml文件中。 加: 属性dfs.datanode.hostname, 该值是datanodes的ip地址