java.lang.NoSuchMethodError:org.json4s.JsonDSL$.seq2jvalue(Lscala/collection/Traversable;Lscala/Function1;)Lorg/json4s/JsonAST$JArray;
我试图使用java.lang.NoSuchMethodError:org.json4s.JsonDSL$.seq2jvalue(Lscala/collection/Traversable;Lscala/Function1;)Lorg/json4s/JsonAST$JArray;,scala,apache-spark,hadoop,apache-spark-sql,Scala,Apache Spark,Hadoop,Apache Spark Sql,我试图使用Spark submit将数据从Spark数据框写入拼花地板文件,我得到java.lang.NoSuchMethodError错误,错误为JsonDSL 从Spark Shell运行时,相同的写入块工作正常。在使用sqlContext写入拼花地板文件时,是否需要添加任何其他依赖项 我在从Cassandra表读取数据时使用了SparksqlContext inputDF.drop("col1") .repartition(1) .write .option("
Spark submit
将数据从Spark数据框写入拼花地板文件,我得到java.lang.NoSuchMethodError
错误,错误为JsonDSL
从Spark Shell
运行时,相同的写入块工作正常。在使用sqlContext写入拼花地板文件时,是否需要添加任何其他依赖项
我在从Cassandra表读取数据时使用了SparksqlContext
inputDF.drop("col1")
.repartition(1)
.write
.option("header", flase)
.mode("overwrite")
.parquet("local_path")
我正在使用以下版本
scala: 2.11.12
spark: 2.4.6
java: 11
任何帮助都将不胜感激。在查看下面的帖子后,我将JSON版本从3.7.0-M2降级为3.5.3,问题得到解决 在build.gradle中添加了以下依赖项
configurations.all {
resolutionStrategy {
// https://mvnrepository.com/artifact/org.json4s/json4s-ast
force "org.json4s:json4s-ast_2.11:3.5.3"
// https://mvnrepository.com/artifact/org.json4s/json4s-native
force "org.json4s:json4s-native_2.11:3.5.3"
}
}
configurations.all {
resolutionStrategy {
// https://mvnrepository.com/artifact/org.json4s/json4s-ast
force "org.json4s:json4s-ast_2.11:3.5.3"
// https://mvnrepository.com/artifact/org.json4s/json4s-native
force "org.json4s:json4s-native_2.11:3.5.3"
}
}