Apache spark java.net.BindException:使用Google DataProc时已在使用的地址

我刚刚使用DataProc在Google Cloud中建立了一个Spark集群，我正在尝试从我的本地机器使用gcutil提交一个简单的pyspark hello-world.py作业，如文档中指定的-

但是，我得到以下错误：

15/12/28 08:54:53 WARN org.spark-project.jetty.util.component.AbstractLifeCycle: FAILED   SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address  already in use
java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
   at org.spark-project.jetty.server.nio.SelectChannelConnector.open(SelectChannelConnector.java:187)
...
  py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:68)
   at py4j.GatewayConnection.run(GatewayConnection.java:207)
   at java.lang.Thread.run(Thread.java:745)

---

我只提交过一次这份工作，所以我不明白为什么会出现这个错误。任何帮助都将不胜感激。

创建spark上下文时，默认情况下它会在4040启动应用程序UI端口。当UI启动时，它会检查它是否正在使用，如果正在使用，它应该增加到4041。看起来你在4040端口上运行了一些东西。应用程序应该向您显示警告，然后尝试在4041上启动UI。

我认为这只是警告日志。Spark将自动尝试另一个端口，您无需担心。@femibyte如果您不想看到警告堆栈跟踪，可以在$Spark_HOME/conf/log4j.properties中的属性文件中将Jetty（log4j.logger.org.eclipse.Jetty）的日志级别从WARN修改为ERROR。

15/12/28 08:54:53 WARN org.spark-project.jetty.util.component.AbstractLifeCycle: FAILED   SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address  already in use
java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
   at org.spark-project.jetty.server.nio.SelectChannelConnector.open(SelectChannelConnector.java:187)
...
  py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:68)
   at py4j.GatewayConnection.run(GatewayConnection.java:207)
   at java.lang.Thread.run(Thread.java:745)