Apache spark 如何在所有可用节点上运行Apache Spark以测试网络连接

我需要验证Cloudera CDH6.3集群中所有节点的网络可达性，以确保其他网络能够从集群中的所有节点连接

---

是否可以使用某些Spark submit配置使Spark在所有节点上运行，以便我可以从所有节点使用到其他网络主机和端口的TCP连接。

执行器的数量将控制运行作业的群集节点的扇出

spark submit--num executors=N

---

但是我将使用Ansible来实现更简单的mass

telnet

/

nc

端口检查

执行器的数量将控制运行作业的集群节点的扇出

spark submit--num executors=N

---

但是我会使用Ansible进行更简单的mass

telnet

/

nc

端口检查

感谢您的回复，我不能直接使用telnet/nc检查所有节点，因为开发团队没有访问所有节点的权限，但使用spark我们可以访问所有节点。如果您有权在spark代码中运行任何命令，然后，您可以有效地执行远程代码，从而为自己提供访问权限；）从技术上讲，

--num executors=N

将尝试在所有可访问节点上启动N个执行器，而不是验证N个节点是否可访问。在CDH上下文中，节点连接由Cloudera代理心跳回Cloudera Manager进行验证。@mazaneicha是真的，但这是正常的checks@OneCricketeer甚至不是纱线，host agent是一个python脚本，发送基本的主机运行状况信息。感谢您的回复，我不能直接对所有节点使用telnet/nc检查，因为开发团队没有访问所有节点的权限，但使用spark，我们可以访问所有节点。如果您有权在spark代码中运行任何命令，那么您可以有效地执行远程代码，以便自己访问；）从技术上讲，

--num executors=N

将尝试在所有可访问节点上启动N个执行器，而不是验证N个节点是否可访问。在CDH上下文中，节点连接由Cloudera代理心跳回Cloudera Manager进行验证。@mazaneicha是真的，但这是正常的checks@OneCricketeer甚至不是纱线，host agent是一个发送基本主机运行状况信息的python脚本。