StreamingContext无法';t绑定到Java使用的端口
我已经开始使用Spark master和workers,可以轻松地在HDFS上运行类似MapReduce的wordcount 现在我想在textstream上运行一个流媒体,当我想创建一个新的StreamingContext时 我有一个错误:StreamingContext无法';t绑定到Java使用的端口,streaming,spark-java,Streaming,Spark Java,我已经开始使用Spark master和workers,可以轻松地在HDFS上运行类似MapReduce的wordcount 现在我想在textstream上运行一个流媒体,当我想创建一个新的StreamingContext时 我有一个错误: scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2)) 13/07/17 11:13:45 INFO slf4j.Slf4jEventHandle
scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2))
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594
at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298)
....
我检查了端口,它被Java使用。我扼杀了这一过程,从火花壳中解脱出来
有没有办法将StreamingContext的端口更改为随机空闲端口?Java是spark的底层进程(scala在jvm上运行)。您可能有多个spark/spark streaming副本正在运行。你能调查一下吗 特别是:如果我已经有一个火花壳在运行,我会得到同样的结果 您可以检查其他spark流程:
ps -ef | grep spark | -v grep
Java是spark的底层进程(scala在jvm上运行)。您可能有多个spark/spark streaming副本正在运行。你能调查一下吗 特别是:如果我已经有一个火花壳在运行,我会得到同样的结果 您可以检查其他spark流程:
ps -ef | grep spark | -v grep