Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/325.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 无法连接到Spark Master:原因是:[已解除关联]_Java_Apache Spark_Akka_Spark Streaming - Fatal编程技术网

Java 无法连接到Spark Master:原因是:[已解除关联]

Java 无法连接到Spark Master:原因是:[已解除关联],java,apache-spark,akka,spark-streaming,Java,Apache Spark,Akka,Spark Streaming,我正试图从一个Eclipse丰富的平台应用程序连接到本地机器上的Spark集群,以创建Spark流上下文。从spark shell连接可以完美地工作,但当我尝试从我正在处理的类运行代码时,结果是: WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Dis

我正试图从一个Eclipse丰富的平台应用程序连接到本地机器上的Spark集群,以创建Spark流上下文。从spark shell连接可以完美地工作,但当我尝试从我正在处理的类运行代码时,结果是:

 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
很明显,主机与我在Spark Shell中使用的主机相同

这是我试图连接到Spark的代码块

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();

它重试几次,然后终止。

可能存在版本问题您的spark服务器可能是1.3,而pom文件中的依赖项是1.4如果使用maven或1.4的jar文件,请在代码中交叉引用它

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");
spark://host:7077
此主机应为主机名

您是否已检查主机名。如果您在本地系统中的设置,-master local[2]将是主控,并且主控脚本中提到的url可能不正确是的,我的sbt文件中有不同的scala版本。现在我需要了解如何在我的工作环境中使用我必须使用的自定义JRE来解决这个问题。谢谢。@Chobeat在多台机器上设置spark