Scala 使用本地metastore上的配置单元进行Spark单元测试
我使用的是spark 2.2.0,我希望通过配置单元支持为spark创建单元测试。 测试应该中继到存储在本地磁盘上的元存储上(如中所述) 我用以下方式定义会话:Scala 使用本地metastore上的配置单元进行Spark单元测试,scala,apache-spark,apache-spark-sql,datanucleus,Scala,Apache Spark,Apache Spark Sql,Datanucleus,我使用的是spark 2.2.0,我希望通过配置单元支持为spark创建单元测试。 测试应该中继到存储在本地磁盘上的元存储上(如中所述) 我用以下方式定义会话: val spark = SparkSession .builder .config(conf) .enableHiveSupport() .getOrCreate() 创建spark会话失败,错误为: org.datanucleus.exceptions.nucleuserexception:已指定持久化进程使用名为“data
val spark = SparkSession
.builder
.config(conf)
.enableHiveSupport()
.getOrCreate()
创建spark会话失败,错误为:
org.datanucleus.exceptions.nucleuserexception:已指定持久化进程使用名为“datanucleus”的ClassLoaderResolver,但datanucleus插件机制尚未找到该进程。请检查您的类路径和插件规范。
我通过添加以下依赖项来解决此错误:
“org.datanucleus”%”datanucleus访问平台jdo rdbms“%”3.2.9“
这对我来说很奇怪,因为这个库已经包含在spark中了
还有别的办法解决这个问题吗?
我不想跟踪这个库并用每一个新的spark版本更新它