Java NoSuchMethodError:scala.Predef$.$confirms()Lscala/Predef$$less$colon$less
我已经看到了许多与这个错误相关的答案,但是所有的答案都指向scala版本等,但我认为我的情况不同 我用版本2.10设置了一个远程spark master worker群集。我可以通过列出所有工作节点来验证它Java NoSuchMethodError:scala.Predef$.$confirms()Lscala/Predef$$less$colon$less,java,scala,maven,apache-spark,Java,Scala,Maven,Apache Spark,我已经看到了许多与这个错误相关的答案,但是所有的答案都指向scala版本等,但我认为我的情况不同 我用版本2.10设置了一个远程spark master worker群集。我可以通过列出所有工作节点来验证它 ./spark-shell --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\
./spark-shell --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.0
/_/
Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_91
Branch
Compiled by user jenkins on 2016-12-16T02:04:48Z
Revision
Url
Type --help for more information.
在我的应用程序中,我试图用Java 7代码创建SparkConf。下面是代码
sparkConf = new SparkConf(true)
.set("spark.cassandra.connection.host", "localhost")
.set("spark.cassandra.auth.username", "username")
.set("spark.cassandra.auth.password", "pwd")
.set("spark.master", "spark://master-ip:7077")
.set("spark.app.name","Test App");
以下是我添加的maven依赖项
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector_2.10</artifactId>
<version>2.0.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
<exclusions>
<exclusion>
<groupId>javax.validation</groupId>
<artifactId>validation-api</artifactId>
</exclusion>
</exclusions>
</dependency>
它与Scala版本相关 您的集群有Scala 2.10,但Spark依赖关系是
spark-core_2.11
也就是说Scala 2.11
将其更改为2.10即可工作谢谢!我没有降级Spark Scala版本,而是在集群中升级了它。!我有完全相同的问题-但不要使用Scala(更多的是隐式的)并得到相同的错误。。。
spark-core_2.11