Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala spark核心依赖中的冲突。它是如何工作的?_Scala_Apache Spark_Dependencies_Sbt - Fatal编程技术网

Scala spark核心依赖中的冲突。它是如何工作的?

Scala spark核心依赖中的冲突。它是如何工作的?,scala,apache-spark,dependencies,sbt,Scala,Apache Spark,Dependencies,Sbt,我的问题的入口点是一个例外: [info] Cause: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.4 [info] at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64) [info] at com.fasterxml.jackson

我的问题的入口点是一个例外:

[info]   Cause: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.4
[info]   at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64)
[info]   at com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
[info]   at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
[info]   at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:745)
[info]   at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
[info]   at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
[info]   at org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
[info]   at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
[info]   at org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:83)
[info]   at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:81)
[info]原因:com.fasterxml.jackson.databind.JsonMappingException:不兼容的jackson版本:2.8.4
[信息]位于com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64)
[信息]位于com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
[信息]位于com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
[信息]位于com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:745)
[信息]位于org.apache.spark.rdd.RDDOperationScope$(RDDOperationScope.scala:82)
[信息]位于org.apache.spark.rdd.RDDOperationScope$(RDDOperationScope.scala)
[信息]位于org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
[信息]位于org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
[信息]位于org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:83)
[信息]位于org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:81)
它发生在Spark升级之后。我设法克服了这个问题,但我仍然不明白根本原因。 Spark相关性似乎存在问题,请查看:

它需要
com.fasterxml.jackson.core»jackson数据绑定2.6.7.3
。 没问题。 此外,它还需要: 没问题。 但是,需要
现在,我们可以看到
spark-2.4.7
引入了
jackson-databind
本身之间的依赖冲突。我的推理哪里错了?

正如您在父pom中看到的,
com.fasterxml.jackson.core.*
被排除在
json4s jackson
之外:

因此,毕竟没有冲突