hadoop组件的自定义端口

hadoop组件的自定义端口,hadoop,Hadoop,我想知道我们是否可以自己定义端口供hadoop组件使用。hadoop组件使用默认端口,比如web hadoop端口是50070,所以我们可以将其配置为使用端口50000。同样,我们可以告诉hadoop组件(Spark、hive等)使用自己定义的端口吗 如果我只打开9000到9500之间的端口,阻止其他端口,并将hadoop配置为使用该范围之间的端口,可以吗 是啊,为什么不呢?但您必须在每个节点上更新每个hdfs site.xml,warn site.xml等,私有版本(服务使用)和公共版本(在/

我想知道我们是否可以自己定义端口供hadoop组件使用。hadoop组件使用默认端口,比如web hadoop端口是50070,所以我们可以将其配置为使用端口50000。同样,我们可以告诉hadoop组件(Spark、hive等)使用自己定义的端口吗


如果我只打开9000到9500之间的端口,阻止其他端口,并将hadoop配置为使用该范围之间的端口,可以吗

是啊,为什么不呢?但您必须在每个节点上更新每个
hdfs site.xml
warn site.xml
等,私有版本(服务使用)和公共版本(在
/etc/*/conf
中),以及远程客户端使用的版本。并确保升级时不会恢复默认设置。非常有趣。调试愉快@SamsonScharfrichter我知道风险,但我的办公室想使用虚拟服务器,并要求我列出我将使用的所有端口。这个问题有点可笑,因为我无法列出所有端口。所以我计划给它们一个范围,我将在这个范围内配置端口。一旦Hadoop集群启动并运行,您就可以列出每个节点上等待入站连接的端口——cf.
sudo ss--listening-p
。请注意,如果切换到HTTPS,HTTP端口将发生更改,反之亦然。