Apache spark 打开火花壳时出现问题

Apache spark 打开火花壳时出现问题,apache-spark,Apache Spark,我正在尝试使用命令打开spark $spark shell 但是得到警告。如何修复它 警告: WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. 默认情况下,Spark将尝试绑定端口4040。 在您的情况下,已经有一个spark进程在4040上运行 以下消息不是错误,因为spark将在端口4041上运行: WARN util.Utils: Service 'SparkUI'

我正在尝试使用命令打开spark

$spark shell

但是得到警告。如何修复它

警告:

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

默认情况下,Spark将尝试绑定端口4040。 在您的情况下,已经有一个spark进程在4040上运行

以下消息不是错误,因为spark将在端口4041上运行:

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
发件人:

默认情况下,每个SparkContext都会在端口4040上启动一个web UI 显示有关应用程序的有用信息。这包括:

如果多个SparkContext在同一台主机上运行,它们将绑定到连续的端口 从4040开始(4041、4042等)


在命令提示符下运行时,可以随时更改Spark端口

[hadoop@localhost~]$spark shell——conf spark.ui.port=4041


默认情况下,spark运行到4040中。前面的答案也帮助我创建了spark表。在进一步的研究中,我发现spark有16次尝试自动分配端口。

一件好事是,spark还建议如何配置一个新的未使用的端口,并在端口上启动spark外壳

java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (**for example spark.ui.port for SparkUI**) to an available port or increasing spark.port.maxRetries.

那些港口是免费的吗?你能检查一下吗?你在后台有没有其他的Spark流程?请同时提供配置代码否,它们不是免费的。如何使它们免费?临时选项:杀死进程。但要调查发生了什么,我们必须查看您的代码,可能存在一些问题我如何终止进程?抱歉,我必须请您确认:)因为您可能已经有独立服务器或后台的流媒体作业。退出Spark shell时,请按Ctrl+D键,它将以正确的方式关闭shell。请重新启动并尝试以下方法:)是的,我明白了。我也更新了我的评论。但当两个端口都忙时,解决方案是什么。在我的例子中,由于两个端口都很忙,shell被卡住了。@什么是spark.master还是deploy模式?纱线/独立簇?