Java spark示例运行错误,错误为:Java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$
我在Java spark示例运行错误,错误为:Java.lang.NoSuchMethodError:scala.Predef$.$scope()Lscala/xml/TopScope$,scala,apache-spark,nosuchmethod,Scala,Apache Spark,Nosuchmethod,我在Intelligent IDEA中编写了一个支持spark maven的示例。 spark版本是2.0.0,hadoop版本是2.7.3,scala版本是2.11.8。系统和IDE中的环境是相同的版本。然后应用程序运行时出错: 线程“main”java.lang.NoSuchMethodError中出现异常: scala.Predef$.$scope()Lscala/xml/TopScope$;在 org.apache.spark.ui.jobs.StagePage(StagePage.sc
Intelligent IDEA
中编写了一个支持spark maven
的示例。
spark
版本是2.0.0,hadoop
版本是2.7.3,scala
版本是2.11.8。系统和IDE中的环境是相同的版本。然后应用程序运行时出错:
线程“main”java.lang.NoSuchMethodError中出现异常:
scala.Predef$.$scope()Lscala/xml/TopScope$
;在
org.apache.spark.ui.jobs.StagePage
(StagePage.scala:44)位于
org.apache.spark.ui.jobs.StagesTab
(StagesTab.scala:34)位于
org.apache.spark.ui.SparkUI
(SparkUI.scala:62)位于
org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215)
org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157)
org.apache.spark.SparkContext.(SparkContext.scala:443)
org.apache.spark.SparkContext.(SparkContext.scala:149)
org.apache.spark.SparkContext.(SparkContext.scala:185)
org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:92)
在com.spark.test.WordCountTest.main(WordCountTest.java:25)
sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)
at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
在
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在java.lang.reflect.Method.invoke(Method.java:606)
at
com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
Spark 2.0.0使用scala 2.10构建,您必须添加scala 2.10作为框架支持Spark 2.0.0使用scala 2.10构建,您必须添加scala 2.10作为框架支持更新
pom.xml
使用scala 2.11.8
有关版本兼容性,请参阅spark下载文档。使用
scala 2.11.8
更新pom.xml
有关版本兼容性,请参阅spark下载文档。某个地方存在版本不匹配问题。检查您的集群、sbt等。某个地方存在版本不匹配。检查您的集群、sbt等。