Apache spark Spark驱动程序无法在群集中启动

Apache spark Spark驱动程序无法在群集中启动,apache-spark,Apache Spark,我正在使用SparkLauncher~将作业提交到SparkCluster,它将在其中一个工作节点上启动Spark驱动程序。但驱动程序启动总是失败,此异常出现16次: level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1." 有人有什么想法吗?端口号看起来不正确,你可以通过s

我正在使用SparkLauncher~将作业提交到SparkCluster,它将在其中一个工作节点上启动Spark驱动程序。但驱动程序启动总是失败,此异常出现16次:

level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1."

有人有什么想法吗?

端口号看起来不正确,你可以通过spark.driver.port更改它

我终于找到了答案。如果在启动作业的机器上设置环境变量SPARK\u LOCAL\u IP=0.0.0.0,它似乎可以解决问题。根据文档,它将为驱动程序选择一个随机端口,以便在集群中的任何工作节点上运行。根据@yyny的评论,如果您希望修复驱动程序的端口,可以使用“spark.driver.port”。

端口号看起来不正确,您可以通过spark.driver.portal进行更改。在我为该值输入了一个随机端口后,它起到了作用。谢谢奇怪的是,根据“spark.driver.port(random)”,它应该是随机的,但它一直选择0。我没有确定。您能否添加您的评论作为答案,以便其被接受?添加,谢谢!!很抱歉,还有一些其他错误,我认为使用此属性时驱动程序启动错误消失了,但没有。我在SparkLauncher上设置属性,如下所示,但错误与所讨论的相同:.setConf(“spark.driver.cores”,“2”).setConf(“spark.driver.memory”,“4g”).setConf(“spark.driver.port”,“5556”),也就是说,这是一个独立的集群