Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java spark示例运行错误,错误为:Java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$_Scala_Apache Spark_Nosuchmethod - Fatal编程技术网

Java spark示例运行错误,错误为:Java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$

Java spark示例运行错误,错误为:Java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$,scala,apache-spark,nosuchmethod,Scala,Apache Spark,Nosuchmethod,我在Intelligent IDEA中编写了一个支持spark maven的示例。 spark版本是2.0.0,hadoop版本是2.7.3,scala版本是2.11.8。系统和IDE中的环境是相同的版本。然后应用程序运行时出错: 线程“main”java.lang.NoSuchMethodError中出现异常: scala.Predef$.$scope()Lscala/xml/TopScope$;在 org.apache.spark.ui.jobs.StagePage(StagePage.sc

我在
Intelligent IDEA
中编写了一个支持
spark maven
的示例。
spark
版本是2.0.0,
hadoop
版本是2.7.3,
scala
版本是2.11.8。系统和IDE中的环境是相同的版本。然后应用程序运行时出错:

线程“main”java.lang.NoSuchMethodError中出现异常:
scala.Predef$.$scope()Lscala/xml/TopScope$
;在
org.apache.spark.ui.jobs.StagePage
(StagePage.scala:44)位于
org.apache.spark.ui.jobs.StagesTab
(StagesTab.scala:34)位于
org.apache.spark.ui.SparkUI
(SparkUI.scala:62)位于
org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215)
org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157)
org.apache.spark.SparkContext.(SparkContext.scala:443)
org.apache.spark.SparkContext.(SparkContext.scala:149)
org.apache.spark.SparkContext.(SparkContext.scala:185)
org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:92)
com.spark.test.WordCountTest.main(WordCountTest.java:25)
sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)
at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:606)
at
com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)


Spark 2.0.0使用scala 2.10构建,您必须添加scala 2.10作为框架支持

Spark 2.0.0使用scala 2.10构建,您必须添加scala 2.10作为框架支持

更新
pom.xml
使用
scala 2.11.8


有关版本兼容性,请参阅spark下载文档。

使用
scala 2.11.8
更新
pom.xml

有关版本兼容性,请参阅spark下载文档。

某个地方存在版本不匹配问题。检查您的集群、sbt等。某个地方存在版本不匹配。检查您的集群、sbt等。