Hadoop文件上载进程内部工作

Hadoop文件上载进程内部工作,hadoop,hdfs,Hadoop,Hdfs,我目前遇到一个问题,当从群集中的任何节点运行客户端时,我可以将文件上载到HDFS,但当从本地计算机运行客户端时,我却不能这样做(即使我可以从本地客户端运行ls)。我很确定这是一个端口问题,但较小的问题让我想到,无论如何,当我尝试上载文件时,我想确切地了解客户端计算机、namenode和datanodes之间发生了什么通信。那么,有谁能启发我吗?在什么时候,通过什么端口,以及在哪些计算机之间,具体会发生什么?这是一个EC2问题,在这个问题上,我会让namenode将Datanode EC2专用IP

我目前遇到一个问题,当从群集中的任何节点运行客户端时,我可以将文件上载到HDFS,但当从本地计算机运行客户端时,我却不能这样做(即使我可以从本地客户端运行ls)。我很确定这是一个端口问题,但较小的问题让我想到,无论如何,当我尝试上载文件时,我想确切地了解客户端计算机、namenode和datanodes之间发生了什么通信。那么,有谁能启发我吗?在什么时候,通过什么端口,以及在哪些计算机之间,具体会发生什么?

这是一个EC2问题,在这个问题上,我会让namenode将Datanode EC2专用IP返回给所有客户端,而不管它们是在EC2中还是在我们的专用网络上。这些IP显然不适用于EC2之外的客户机,因此任何涉及数据节点并受到EC2之外攻击的操作都会出错。我从来没有找到一个好的解决方案,只是决定现在让人们从EC2内部查询

我已经解决了我这方面的问题——我的集群在EC2上,所以我的Namenode正在发回datanodes的内部EC2 IP,由于明显的原因,无法从本地客户端访问这些IP。不管怎样,我仍然很好奇,当我试图上传一个文件时,会发生什么事情,所以我将保留这个问题。