Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop HDFS的默认Namenode端口是50070。但我在一些地方遇到过8020或9000_Hadoop_Hdfs - Fatal编程技术网

Hadoop HDFS的默认Namenode端口是50070。但我在一些地方遇到过8020或9000

Hadoop HDFS的默认Namenode端口是50070。但我在一些地方遇到过8020或9000,hadoop,hdfs,Hadoop,Hdfs,当我设置hadoop集群时,我读到namenode在50070上运行,我进行了相应的设置,它运行良好 但在一些书中,我遇到了名称节点地址: hdfs://localhost:9000/ 或 设置namenode端口的正确数字是多少?namenode web UI的默认地址是http://localhost:50070/。您可以在浏览器中打开此地址并检查名称节点信息 namenode服务器的默认地址为hdfs://localhost:8020/。您可以通过HDFS api连接到它以访问HDFS。

当我设置hadoop集群时,我读到namenode在50070上运行,我进行了相应的设置,它运行良好

但在一些书中,我遇到了名称节点地址:

hdfs://localhost:9000/


设置namenode端口的正确数字是多少?

namenode web UI的默认地址是
http://localhost:50070/
。您可以在浏览器中打开此地址并检查名称节点信息


namenode服务器的默认地址为
hdfs://localhost:8020/
。您可以通过HDFS api连接到它以访问HDFS。是真正的服务地址。

这是因为不同的hadoop配置和发行版的默认值不同。 我们始终可以通过在core-site.xml中更改fs.default.name或fs.defaultFS属性来配置端口

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

fs.default.name
hdfs://localhost:9000
对于Hadoop 1.0.4,如果我没有像下面这样提到端口号

<value>hdfs://localhost</value>
hdfs://localhost
那么默认端口是8020。但是对于一些版本,比如.20,我读到它是9000。因此,它取决于您使用的hadoop版本


但是所有的配置和分发都使用50070作为HDFS ui的标准端口号。

要访问Hadoop WEB ui,您需要键入
尽管您的core-site.xml有,因为它用于hdfs请求,50075是WEB UI的默认端口。

50070是namenode的默认UI端口。而8020/9000是namenode的过程间通讯器端口(IPC)


参考IPC端口:

默认的Hadoop端口如下:(HTTP端口,它们有WEB UI):

在内部,Hadoop主要使用Hadoop IPC(代表进程间通信器)在服务器之间进行通信。下表显示了Hadoop使用的端口和协议。此表不包括上述HTTP端口

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address          

查看此链接了解更多信息:

50070是http的Namenode的默认UI端口。对于https,它是50470。 9000是IPC端口(过程间通信器)。如果单击localhost:50070,您可以看到概览为9000(活动)的namenode配置,而在localhost:9000上,您将看到以下消息:
“看起来您正在向Hadoop IPC端口发出HTTP请求。这不是此守护程序上web接口的正确端口。”文件系统元数据操作需要此端口。

9000是默认的HDFS服务端口。此端口没有web UI。50070是默认的NameNode web UI端口(尽管在hadoop 3.0以后的版本中,50070已更新为9870)

hadoop 3.x上namenode的默认端口为9870。有关详细信息,请参阅。

如果您在查找web界面时遇到问题,可以检查每个守护进程正在侦听的端口。例如,要检查namenode正在侦听的端口:

lsof -Pan -iTCP -sTCP:LISTEN -p `jps | grep "\sNameNode" | cut -d " " -f1`
这将使您的输出类似于

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    4053   pi  275u  IPv6  45474      0t0  TCP *:9870 (LISTEN)
java    4053   pi  288u  IPv6  43476      0t0  TCP 127.0.0.1:9000 (LISTEN)
如您所见,
*:9870
已列出,这是web界面


说明:

  • lsof-Pan-iTCP-sTCP:LISTEN-p
    列出所有TCP状态为LISTEN的网络文件。
    -p
    按进程id筛选列表。因此,通过在此命令后插入进程id,您可以看到进程正在侦听的所有端口
  • jps | grep“\sNameNode”| cut-d”“-f1
    获取NameNode的进程id

还有其他HTTP端口可以在服务器中运行以进行监视。例如:50070、8088、9870、9864、9868、16010、16030

无法通过web浏览器访问Hadoop IPC(进程间通讯器)端口(如9000)

您可以通过以下命令在浏览器中找到可以访问的端口:

lsof -i -P -n | grep LISTEN
例如,我的服务器中的端口为:

Hadoop集群-

Hadoop NameNode/DFS运行状况-

Hadoop数据节点-

Hadoop状态-

HBase主机状态-


HBase区域服务器-

我得到了以下地址:


-对于hadoop 3.0和更高版本,配置单元服务器

的端口50070被替换为
9870
。自从hadoop 2.x以来,
fs.default.name
已被弃用。替换它的是fs.defaultFS。请参阅:我看不出这是如何回答本页顶部的问题的,但应该如此。请根据或删除答案。否则,它有被标记为“非答案”并被删除的风险。
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    4053   pi  275u  IPv6  45474      0t0  TCP *:9870 (LISTEN)
java    4053   pi  288u  IPv6  43476      0t0  TCP 127.0.0.1:9000 (LISTEN)
lsof -i -P -n | grep LISTEN