Cluster computing Flink独立群集

Cluster computing Flink独立群集,cluster-computing,apache-flink,Cluster Computing,Apache Flink,我正在尝试设置一个简单的独立flink群集。我听从指示。我有两种情况: 1) 公司网络中的1个主端口和2个从端口,根据IT服务允许我访问任何端口(我对此表示怀疑) 2) 一个主设备和一个从设备都在我的家庭网络中 在这两种情况下,我都可以在主/作业管理器中运行start-cluster.sh脚本后访问Flink Web UI。但是,我看不到任务管理器。在场景2中,只有在主服务器和从服务器中运行start-cluster.sh(这在教程中没有描述),并且只有主服务器具有对从服务器的无密码(仍然使用密

我正在尝试设置一个简单的独立flink群集。我听从指示。我有两种情况:

1) 公司网络中的1个主端口和2个从端口,根据IT服务允许我访问任何端口(我对此表示怀疑)

2) 一个主设备和一个从设备都在我的家庭网络中

在这两种情况下,我都可以在主/作业管理器中运行start-cluster.sh脚本后访问Flink Web UI。但是,我看不到任务管理器。在场景2中,只有在主服务器和从服务器中运行start-cluster.sh(这在教程中没有描述),并且只有主服务器具有对从服务器的无密码(仍然使用密码短语)访问权限(请参见下面的问题,以了解我为什么提到这一点),我才能使其正常工作(请参见任务管理器)。即使在所有节点(主节点和从节点)上运行start-cluster.sh,我仍然无法看到场景1中的任务管理器

基于这些,我有4个问题:

Q1)我是否需要在每台机器上运行start-cluster.sh脚本(即主机和从机)

Q2)文档表明需要无密码ssh。我按照教程进行了这方面的学习,并且我能够做到这一点,但是当我启动集群连接到每个从属服务器时,它仍然要求我提供密码短语。这是无密码连接的外观还是我应该尝试其他方法

问题3)我是否需要我的从属服务器能够将ssh密码减少到主服务器,或者只需要主服务器将密码减少到从属服务器

Q4)如果我需要让IT服务为我打开flink端口,请您确认我只需要它们打开我在flink-conf.yaml文件的参数
jobmanager.rpc.port:
中定义的8081(用于Web UI)和6123(默认值)

场景1:3运行开放JDK 8的Ubuntu Linux机器的配置

场景2的配置:2台运行Oracle JDK 8的Mac OS X 10计算机


在这两种情况下,我都使用ApacheFlink 1.7.1

我设法让主控器看到任务管理器。问题在于Java安装。虽然我非常确定我已经在所有机器上安装了openjdk 8,将PATH和JAVA_HOME变量设置为指向同一JDK的所有机器,但似乎通过在
flink-conf.yaml
中添加
env.JAVA.HOME
参数显式指向我的JDK路径就解决了问题(例如,
/usr/lib/jvm/java-8-openjdk-amd64

事实证明,我现在能够回答我的一些问题:

Q1)否,start-cluster.sh只能在主机上执行

问题2)我切换到一个没有密码的ssh连接(只需重新生成密钥,并在请求密码时按enter键,将其保留为空)。虽然我不知道这是否需要

问题3)否,只有主设备可以对从属设备进行无密码访问

Q4)主机打开并侦听端口8081和6123。它还打开了更多的端口(每个从机一个端口?)。如果执行
sudolsof-i-P-n
操作,您将发现在每次更改时打开了哪些其他端口