Scala spark核心依赖中的冲突。它是如何工作的?
我的问题的入口点是一个例外:Scala spark核心依赖中的冲突。它是如何工作的?,scala,apache-spark,dependencies,sbt,Scala,Apache Spark,Dependencies,Sbt,我的问题的入口点是一个例外: [info] Cause: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.4 [info] at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64) [info] at com.fasterxml.jackson
[info] Cause: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.4
[info] at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64)
[info] at com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
[info] at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
[info] at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:745)
[info] at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
[info] at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
[info] at org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
[info] at org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
[info] at org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:83)
[info] at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:81)
[info]原因:com.fasterxml.jackson.databind.JsonMappingException:不兼容的jackson版本:2.8.4
[信息]位于com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:64)
[信息]位于com.fasterxml.jackson.module.scala.JacksonModule.setupModule$(JacksonModule.scala:51)
[信息]位于com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
[信息]位于com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.java:745)
[信息]位于org.apache.spark.rdd.RDDOperationScope$(RDDOperationScope.scala:82)
[信息]位于org.apache.spark.rdd.RDDOperationScope$(RDDOperationScope.scala)
[信息]位于org.apache.spark.sql.execution.SparkPlan.executeQuery(SparkPlan.scala:152)
[信息]位于org.apache.spark.sql.execution.SparkPlan.execute(SparkPlan.scala:127)
[信息]位于org.apache.spark.sql.execution.QueryExecution.toRdd$lzycompute(QueryExecution.scala:83)
[信息]位于org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:81)
它发生在Spark升级之后。我设法克服了这个问题,但我仍然不明白根本原因。
Spark相关性似乎存在问题,请查看:
它需要com.fasterxml.jackson.core»jackson数据绑定2.6.7.3
。
没问题。
此外,它还需要:
没问题。
但是,需要
现在,我们可以看到
spark-2.4.7
引入了jackson-databind
本身之间的依赖冲突。我的推理哪里错了?正如您在父pom中看到的,com.fasterxml.jackson.core.*
被排除在json4s jackson
之外:
因此,毕竟没有冲突