用于hadoop编写的JavaAPI是否需要SSH?

用于hadoop编写的JavaAPI是否需要SSH?,java,ssh,hadoop,Java,Ssh,Hadoop,大家好:我正在尝试设置对远程单节点hadoop实例的写操作(远程,因为它在虚拟机的我的盒子上运行) 然而,我得到以下错误(继续尝试重新连接,但无法) 11/10/03 23:03:08信息ipc.客户端:正在重试连接到服务器: /132.11.665.103:8020. 已尝试了7次 我是否必须为我的java代码设置无键ssh以打开到远程hadoop文件服务器的输入流?它认为NameNode不存在。您的core site.xml配置不正确,没有指向右侧的NameNode,或者您的NameNode

大家好:我正在尝试设置对远程单节点hadoop实例的写操作(远程,因为它在虚拟机的我的盒子上运行)

然而,我得到以下错误(继续尝试重新连接,但无法)

11/10/03 23:03:08信息ipc.客户端:正在重试连接到服务器: /132.11.665.103:8020. 已尝试了7次


我是否必须为我的java代码设置无键ssh以打开到远程hadoop文件服务器的输入流?

它认为
NameNode
不存在。您的
core site.xml
配置不正确,没有指向右侧的
NameNode
,或者您的
NameNode
尚未启动。我发现了,我相信这描述了你的问题


Hadoop的大多数内部通信都是通过普通HTTP完成的,因此我想不出SSH可能参与其中的原因。

以下是一些您也可以检查的内容

  • 看看您是否能够从主机ping到来宾
  • 检查来宾服务器上的防火墙设置
  • 检查名称节点端口号(8020)是否正确
  • 对来宾进行netstat,看看8020是否打开

尝试连接到namenode时会引发SocketTimeoutException。

否:在namenode上不会发生这种情况。HDFS在我的虚拟机中运行良好。问题是,vm之外的客户机(位于另一个IP地址)无法写入hdfs。在内部,hdfs工作正常,我可以进行简单的写入,文本文件的mvs是IP
132.11.665.103:8020
正确,正如您在core-site.xml文件中提到的那样?不,我更改了#s以确保安全。为什么core-site.xml文件很重要?hadoop并没有在内部失败。。。。是客户端无法连接。在我的虚拟机中,我可以对数据执行普通的hadoop操作,比如复制/导入文件。我的意思是,无论您在这里获得什么IP,它是否与您在core-site.xml中提到的相同?只是为了确认是否拾取了正确的core-site.xml文件为什么core-site.xml需要ip地址?客户端使用core-site.xml来确定在何处查找HDFSI运行此命令,结果是在8020上建立了连接。。。。。。不知道那是什么意思