Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 使用本地metastore上的配置单元进行Spark单元测试_Scala_Apache Spark_Apache Spark Sql_Datanucleus - Fatal编程技术网

Scala 使用本地metastore上的配置单元进行Spark单元测试

Scala 使用本地metastore上的配置单元进行Spark单元测试,scala,apache-spark,apache-spark-sql,datanucleus,Scala,Apache Spark,Apache Spark Sql,Datanucleus,我使用的是spark 2.2.0,我希望通过配置单元支持为spark创建单元测试。 测试应该中继到存储在本地磁盘上的元存储上(如中所述) 我用以下方式定义会话: val spark = SparkSession .builder .config(conf) .enableHiveSupport() .getOrCreate() 创建spark会话失败,错误为: org.datanucleus.exceptions.nucleuserexception:已指定持久化进程使用名为“data

我使用的是spark 2.2.0,我希望通过配置单元支持为spark创建单元测试。 测试应该中继到存储在本地磁盘上的元存储上(如中所述)

我用以下方式定义会话:

val spark = SparkSession
 .builder
 .config(conf)
 .enableHiveSupport()
 .getOrCreate()
创建spark会话失败,错误为:

org.datanucleus.exceptions.nucleuserexception:已指定持久化进程使用名为“datanucleus”的ClassLoaderResolver,但datanucleus插件机制尚未找到该进程。请检查您的类路径和插件规范。

我通过添加以下依赖项来解决此错误:

“org.datanucleus”%”datanucleus访问平台jdo rdbms“%”3.2.9“

这对我来说很奇怪,因为这个库已经包含在spark中了

还有别的办法解决这个问题吗? 我不想跟踪这个库并用每一个新的spark版本更新它