Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/email/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java Scala模块需要特定版本的Spark数据绑定_Java_Scala_Apache Spark_Jackson Databind - Fatal编程技术网

Java Scala模块需要特定版本的Spark数据绑定

Java Scala模块需要特定版本的Spark数据绑定,java,scala,apache-spark,jackson-databind,Java,Scala,Apache Spark,Jackson Databind,我在尝试让Spark加载、读取和查询拼花地板文件时遇到问题。基础设施似乎已经建立(Spark standalone 3.0),可以看到,并将获得工作机会 我遇到的问题是何时调用此线路 Dataset<Row> parquetFileDF = sparkSession.read().parquet(parquePath); 那不起作用,所以我试着强制数据绑定 implementation ('com.fasterxml.jackson.core:jackson-dat

我在尝试让Spark加载、读取和查询拼花地板文件时遇到问题。基础设施似乎已经建立(Spark standalone 3.0),可以看到,并将获得工作机会

我遇到的问题是何时调用此线路

    Dataset<Row> parquetFileDF = sparkSession.read().parquet(parquePath);
那不起作用,所以我试着强制数据绑定

    implementation ('com.fasterxml.jackson.core:jackson-databind') {
        version {
            strictly '2.10.0'
        }
    }
我已经尝试了几个不同的版本,但仍然不断地遇到这个问题。也许我错过了一些非常简单的东西,但现在,我似乎无法克服这个错误


任何帮助都将不胜感激。

我能够解决这个问题。我从另一个项目中提取jar文件。jar文件中的功能根本没有被使用,所以它没有被怀疑。不幸的是,那个项目还没有更新,还有一些旧的Spark库被我当前的running应用程序采用了。一旦我删除了它,错误就消失了。有趣的是,依赖关系图没有显示其他jar文件使用的库的任何信息


我想如果遇到类似问题,请仔细检查正在导入的任何jar文件。

如果添加
gradle dependencies
(或者
/gradlew dependencies
的输出,如果使用包装器,您可能会得到更多帮助。)
    implementation 'com.fasterxml.jackson.core:jackson-core:2.10.0'
    implementation 'com.fasterxml.jackson.core:jackson-databind:2.10.0'
    implementation 'org.apache.spark:spark-core_2.12:3.0.0'
    implementation 'org.apache.spark:spark-sql_2.12:3.0.0'
    implementation 'org.apache.spark:spark-launcher_2.12:3.0.0'
    implementation 'org.apache.spark:spark-catalyst_2.12:3.0.0'
    implementation 'org.apache.spark:spark-streaming_2.12:3.0.0'
    implementation ('com.fasterxml.jackson.core:jackson-databind') {
        version {
            strictly '2.10.0'
        }
    }