Java hadoop是如何工作的?客户端如何连接到hadoop

Java hadoop是如何工作的?客户端如何连接到hadoop,java,apache,hadoop,hdfs,Java,Apache,Hadoop,Hdfs,我对hadoop有基本的了解。我的问题是关于客户端/开发人员如何连接到hadoop集群以执行查询 例如,我是一名hadoop开发人员。Hadoop集群位于某个远程位置。如何连接到hadoop集群以运行java代码?我必须在我的笔记本电脑上安装hadoop吗?我必须运行Linux吗 或者,如果我与Hadoop集群位于同一网络中,只需将共享装载到我的笔记本电脑中,并将代码放入Hadoop集群中,这样可以吗 第二个问题: 为了运行java代码,我必须先使用SSH连接到任何数据节点,然后再运行作业吗 以

我对hadoop有基本的了解。我的问题是关于客户端/开发人员如何连接到hadoop集群以执行查询

例如,我是一名hadoop开发人员。Hadoop集群位于某个远程位置。如何连接到hadoop集群以运行java代码?我必须在我的笔记本电脑上安装hadoop吗?我必须运行Linux吗

或者,如果我与Hadoop集群位于同一网络中,只需将共享装载到我的笔记本电脑中,并将代码放入Hadoop集群中,这样可以吗

第二个问题: 为了运行java代码,我必须先使用SSH连接到任何数据节点,然后再运行作业吗

以上两个问题一直困扰着我。我没有实时经验


提前谢谢你

要打开文件,客户端会联系NameNode并检索组成文件的块的位置列表。这些位置标识保存每个块的数据节点。然后,客户端直接从DataNode服务器读取文件数据,可能是并行读取。NameNode不直接参与此批量数据传输,将其开销保持在最低限度

我认为您对hadoop集群没有足够的了解,通过这个链接您将完全了解hadoop集群


据我所知,在笔记本电脑中安装hadoop并不是在某些hadoop集群中运行作业的必要条件。您只需获得对作业跟踪器的远程访问并提交作业即可。

对于第二点,如果我与Hadoop集群位于同一网络中,只需将共享装载到我的笔记本电脑中,并将代码放入Hadoop集群中,是否可以

将代码放入hadoop集群必须通过正确的通道,即通过主节点。在hadoop中,您必须向主节点提交数据和代码,主节点负责将数据和代码分发到集群

要运行java代码,我必须先使用SSH连接到任何数据节点,然后再运行作业吗?=>您必须通过ssh连接到jobtracker,而不是datanode。数据节点是存储数据的从属节点。Jobtracker是集群中分配作业的主控程序


非常感谢您提供的信息