Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
java.lang.NoSuchMethodError:org.json4s.JsonDSL$.seq2jvalue(Lscala/collection/Traversable;Lscala/Function1;)Lorg/json4s/JsonAST$JArray;_Scala_Apache Spark_Hadoop_Apache Spark Sql - Fatal编程技术网

java.lang.NoSuchMethodError:org.json4s.JsonDSL$.seq2jvalue(Lscala/collection/Traversable;Lscala/Function1;)Lorg/json4s/JsonAST$JArray;

java.lang.NoSuchMethodError:org.json4s.JsonDSL$.seq2jvalue(Lscala/collection/Traversable;Lscala/Function1;)Lorg/json4s/JsonAST$JArray;,scala,apache-spark,hadoop,apache-spark-sql,Scala,Apache Spark,Hadoop,Apache Spark Sql,我试图使用Spark submit将数据从Spark数据框写入拼花地板文件,我得到java.lang.NoSuchMethodError错误,错误为JsonDSL 从Spark Shell运行时,相同的写入块工作正常。在使用sqlContext写入拼花地板文件时,是否需要添加任何其他依赖项 我在从Cassandra表读取数据时使用了SparksqlContext inputDF.drop("col1") .repartition(1) .write .option("

我试图使用
Spark submit
将数据从Spark数据框写入拼花地板文件,我得到
java.lang.NoSuchMethodError
错误,错误为
JsonDSL

Spark Shell
运行时,相同的写入块工作正常。在使用sqlContext写入拼花地板文件时,是否需要添加任何其他依赖项

我在从Cassandra表读取数据时使用了Spark
sqlContext

inputDF.drop("col1")
.repartition(1)
.write
.option("header", flase)
.mode("overwrite")
.parquet("local_path")
我正在使用以下版本

scala: 2.11.12
spark: 2.4.6
java: 11

任何帮助都将不胜感激。

在查看下面的帖子后,我将JSON版本从3.7.0-M2降级为3.5.3,问题得到解决

在build.gradle中添加了以下依赖项

configurations.all {
    resolutionStrategy {
       // https://mvnrepository.com/artifact/org.json4s/json4s-ast
       force "org.json4s:json4s-ast_2.11:3.5.3"

      // https://mvnrepository.com/artifact/org.json4s/json4s-native
      force "org.json4s:json4s-native_2.11:3.5.3"
    }
}

configurations.all {
    resolutionStrategy {
       // https://mvnrepository.com/artifact/org.json4s/json4s-ast
       force "org.json4s:json4s-ast_2.11:3.5.3"

      // https://mvnrepository.com/artifact/org.json4s/json4s-native
      force "org.json4s:json4s-native_2.11:3.5.3"
    }
}