Hadoop HDFS的默认Namenode端口是50070。但我在一些地方遇到过8020或9000
当我设置hadoop集群时,我读到namenode在50070上运行,我进行了相应的设置,它运行良好 但在一些书中,我遇到了名称节点地址:Hadoop HDFS的默认Namenode端口是50070。但我在一些地方遇到过8020或9000,hadoop,hdfs,Hadoop,Hdfs,当我设置hadoop集群时,我读到namenode在50070上运行,我进行了相应的设置,它运行良好 但在一些书中,我遇到了名称节点地址: hdfs://localhost:9000/ 或 设置namenode端口的正确数字是多少?namenode web UI的默认地址是http://localhost:50070/。您可以在浏览器中打开此地址并检查名称节点信息 namenode服务器的默认地址为hdfs://localhost:8020/。您可以通过HDFS api连接到它以访问HDFS。
hdfs://localhost:9000/
或
设置namenode端口的正确数字是多少?namenode web UI的默认地址是
http://localhost:50070/
。您可以在浏览器中打开此地址并检查名称节点信息
namenode服务器的默认地址为
hdfs://localhost:8020/
。您可以通过HDFS api连接到它以访问HDFS。是真正的服务地址。这是因为不同的hadoop配置和发行版的默认值不同。
我们始终可以通过在core-site.xml中更改fs.default.name或fs.defaultFS属性来配置端口
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
fs.default.name
hdfs://localhost:9000
对于Hadoop 1.0.4,如果我没有像下面这样提到端口号
<value>hdfs://localhost</value>
hdfs://localhost
那么默认端口是8020。但是对于一些版本,比如.20,我读到它是9000。因此,它取决于您使用的hadoop版本
但是所有的配置和分发都使用50070作为HDFS ui的标准端口号。要访问Hadoop WEB ui,您需要键入
尽管您的core-site.xml有,因为它用于hdfs请求,50075是WEB UI的默认端口。50070是namenode的默认UI端口。而8020/9000是namenode的过程间通讯器端口(IPC)
参考IPC端口:默认的Hadoop端口如下:(HTTP端口,它们有WEB UI): 在内部,Hadoop主要使用Hadoop IPC(代表进程间通信器)在服务器之间进行通信。下表显示了Hadoop使用的端口和协议。此表不包括上述HTTP端口
Daemon Default Port Configuration Parameter
------------------------------------------------------------
Namenode 8020 fs.default.name
Datanode 50010 dfs.datanode.address
Datanode 50020 dfs.datanode.ipc.address
Backupnode 50100 dfs.backup.address
查看此链接了解更多信息:50070是http的Namenode的默认UI端口。对于https,它是50470。 9000是IPC端口(过程间通信器)。如果单击localhost:50070,您可以看到概览为9000(活动)的namenode配置,而在localhost:9000上,您将看到以下消息:
“看起来您正在向Hadoop IPC端口发出HTTP请求。这不是此守护程序上web接口的正确端口。”文件系统元数据操作需要此端口。9000是默认的HDFS服务端口。此端口没有web UI。50070是默认的NameNode web UI端口(尽管在hadoop 3.0以后的版本中,50070已更新为9870)hadoop 3.x上namenode的默认端口为9870。有关详细信息,请参阅。如果您在查找web界面时遇到问题,可以检查每个守护进程正在侦听的端口。例如,要检查namenode正在侦听的端口:
lsof -Pan -iTCP -sTCP:LISTEN -p `jps | grep "\sNameNode" | cut -d " " -f1`
这将使您的输出类似于
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 4053 pi 275u IPv6 45474 0t0 TCP *:9870 (LISTEN)
java 4053 pi 288u IPv6 43476 0t0 TCP 127.0.0.1:9000 (LISTEN)
如您所见,*:9870
已列出,这是web界面
说明:
列出所有TCP状态为LISTEN的网络文件。lsof-Pan-iTCP-sTCP:LISTEN-p
按进程id筛选列表。因此,通过在此命令后插入进程id,您可以看到进程正在侦听的所有端口-p
获取NameNode的进程idjps | grep“\sNameNode”| cut-d”“-f1
lsof -i -P -n | grep LISTEN
例如,我的服务器中的端口为:
Hadoop集群-
Hadoop NameNode/DFS运行状况-
Hadoop数据节点-
Hadoop状态-
HBase主机状态-
HBase区域服务器-我得到了以下地址:
-对于hadoop 3.0和更高版本,配置单元服务器的端口50070被替换为
9870
。自从hadoop 2.x以来,fs.default.name
已被弃用。替换它的是fs.defaultFS。请参阅:我看不出这是如何回答本页顶部的问题的,但应该如此。请根据或删除答案。否则,它有被标记为“非答案”并被删除的风险。
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 4053 pi 275u IPv6 45474 0t0 TCP *:9870 (LISTEN)
java 4053 pi 288u IPv6 43476 0t0 TCP 127.0.0.1:9000 (LISTEN)
lsof -i -P -n | grep LISTEN