Java Scala模块需要特定版本的Spark数据绑定
我在尝试让Spark加载、读取和查询拼花地板文件时遇到问题。基础设施似乎已经建立(Spark standalone 3.0),可以看到,并将获得工作机会 我遇到的问题是何时调用此线路Java Scala模块需要特定版本的Spark数据绑定,java,scala,apache-spark,jackson-databind,Java,Scala,Apache Spark,Jackson Databind,我在尝试让Spark加载、读取和查询拼花地板文件时遇到问题。基础设施似乎已经建立(Spark standalone 3.0),可以看到,并将获得工作机会 我遇到的问题是何时调用此线路 Dataset<Row> parquetFileDF = sparkSession.read().parquet(parquePath); 那不起作用,所以我试着强制数据绑定 implementation ('com.fasterxml.jackson.core:jackson-dat
Dataset<Row> parquetFileDF = sparkSession.read().parquet(parquePath);
那不起作用,所以我试着强制数据绑定
implementation ('com.fasterxml.jackson.core:jackson-databind') {
version {
strictly '2.10.0'
}
}
我已经尝试了几个不同的版本,但仍然不断地遇到这个问题。也许我错过了一些非常简单的东西,但现在,我似乎无法克服这个错误
任何帮助都将不胜感激。我能够解决这个问题。我从另一个项目中提取jar文件。jar文件中的功能根本没有被使用,所以它没有被怀疑。不幸的是,那个项目还没有更新,还有一些旧的Spark库被我当前的running应用程序采用了。一旦我删除了它,错误就消失了。有趣的是,依赖关系图没有显示其他jar文件使用的库的任何信息
我想如果遇到类似问题,请仔细检查正在导入的任何jar文件。如果添加
gradle dependencies
(或者/gradlew dependencies
的输出,如果使用包装器,您可能会得到更多帮助。)
implementation 'com.fasterxml.jackson.core:jackson-core:2.10.0'
implementation 'com.fasterxml.jackson.core:jackson-databind:2.10.0'
implementation 'org.apache.spark:spark-core_2.12:3.0.0'
implementation 'org.apache.spark:spark-sql_2.12:3.0.0'
implementation 'org.apache.spark:spark-launcher_2.12:3.0.0'
implementation 'org.apache.spark:spark-catalyst_2.12:3.0.0'
implementation 'org.apache.spark:spark-streaming_2.12:3.0.0'
implementation ('com.fasterxml.jackson.core:jackson-databind') {
version {
strictly '2.10.0'
}
}