Java 无法连接到Spark Master:原因是:[已解除关联]
我正试图从一个Eclipse丰富的平台应用程序连接到本地机器上的Spark集群,以创建Spark流上下文。从spark shell连接可以完美地工作,但当我尝试从我正在处理的类运行代码时,结果是:Java 无法连接到Spark Master:原因是:[已解除关联],java,apache-spark,akka,spark-streaming,Java,Apache Spark,Akka,Spark Streaming,我正试图从一个Eclipse丰富的平台应用程序连接到本地机器上的Spark集群,以创建Spark流上下文。从spark shell连接可以完美地工作,但当我尝试从我正在处理的类运行代码时,结果是: WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Dis
WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
很明显,主机与我在Spark Shell中使用的主机相同
这是我试图连接到Spark的代码块
SparkConf conf = new SparkConf().setAppName("SparkNode")
.setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();
它重试几次,然后终止。可能存在版本问题您的spark服务器可能是1.3,而pom文件中的依赖项是1.4如果使用maven或1.4的jar文件,请在代码中交叉引用它
SparkConf conf = new SparkConf().setAppName("SparkNode")
.setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");
spark://host:7077
此主机应为主机名您是否已检查主机名。如果您在本地系统中的设置,-master local[2]将是主控,并且主控脚本中提到的url可能不正确是的,我的sbt文件中有不同的scala版本。现在我需要了解如何在我的工作环境中使用我必须使用的自定义JRE来解决这个问题。谢谢。@Chobeat在多台机器上设置spark