Apache spark ApacheSpark:如何更改Spark驱动程序侦听的端口

Apache spark ApacheSpark:如何更改Spark驱动程序侦听的端口,apache-spark,Apache Spark,我试图在客户机模式下运行Spark作业,以Thread为主,我面临一个特殊的问题。日志显示,Thread ApplicationMaster正在等待Spark驱动程序可访问,然后在某个时候抛出异常,表示Thread ApplicationMaster未能在10.60.18.77:34332连接到驱动程序。现在,我知道IP是可访问的,但端口不是,因为防火墙正在阻止它。试图让管理员打开一个端口是乏味的。那么,有没有一种方法可以让纱线应用程序监听另一个端口,比如20002,我知道它是打开的,而不是34

我试图在客户机模式下运行Spark作业,以Thread为主,我面临一个特殊的问题。日志显示,Thread ApplicationMaster正在等待Spark驱动程序可访问,然后在某个时候抛出异常,表示Thread ApplicationMaster未能在10.60.18.77:34332连接到驱动程序。现在,我知道IP是可访问的,但端口不是,因为防火墙正在阻止它。试图让管理员打开一个端口是乏味的。那么,有没有一种方法可以让纱线应用程序监听另一个端口,比如20002,我知道它是打开的,而不是34332?

您可以通过设置
spark.driver.port=20002

例如,在spark提交中,您可以使用以下内容:


$spark submit--master warn client--conf spark.driver.port=20002….

您可以通过设置
spark.driver.port=20002

例如,在spark提交中,您可以使用以下内容:

$spark submit--master warn客户端--conf spark.driver.port=20002….