Apache spark 异常：由以下原因引起：org.datanucleus.exceptions.NucleusUserException:持久化进程

我已经创建了一个pyspark代码，并从oozie运行该作业。这个.py文件需要一个spark solr shaded jar，所以我下载了一个shaded jar，我使用oozie中spark opts中的--jars来引用这个jar。 当我从命令行运行Thread时，这段代码运行得很好，但当我从oozie作业运行这段代码时，它给出了以下错误。我看到过其他类似错误的问题，人们创建了一个着色jar，需要添加清单文件，但我没有创建任何jar文件，我只是使用了一个着色jar，如果不适用于oozie，它可以正常工作

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.sql.hive.HiveContext.
    : java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:209)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:238)
    at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:225)
    at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:215)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute(HiveContext.scala:480)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry(HiveContext.scala:479)
    at org.apache.spark.sql.UDFRegistration.<init>(UDFRegistration.scala:40)
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:330)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:90)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:101)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:234)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
    at py4j.Gateway.invoke(Gateway.java:214)
    at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:79)
    at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:68)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)
    at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005)
    at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024)
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)
    ... 21 more
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
    at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1521)
    ... 27 more
Caused by: javax.jdo.JDOFatalInternalException: Unexpected exception caught.
NestedThrowables:
java.lang.reflect.InvocationTargetException
    at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1193)
    at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
    at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
    at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:365)
    at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:394)
    at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:291)
    at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:258)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136)
    at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:57)
    at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:66)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:593)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:571)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:624)
    at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:461)
    at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66)
    at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72)
    at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5762)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:199)
    at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74)
    ... 32 more
      Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
    at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
    ... 51 more
Caused by: org.datanucleus.exceptions.NucleusUserException: Persistence process has been specified to use a ClassLoaderResolver of name "datanucleus" yet this has not been found by the DataNucleus plugin mechanism. Please check your CLASSPATH and plugin specification.
    at org.datanucleus.NucleusContext.<init>(NucleusContext.java:283)
    at org.datanucleus.NucleusContext.<init>(NucleusContext.java:247)
    at org.datanucleus.NucleusContext.<init>(NucleusContext.java:225)
    at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
    at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
    at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
    ... 59 more

py4j.protocol.Py4JJavaError:调用None.org.apache.spark.sql.hive.HiveContext时出错。
：java.lang.RuntimeException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
位于org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:522）
位于org.apache.spark.sql.hive.client.ClientWrapper.（ClientWrapper.scala:209）
位于org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient（IsolatedClientLoader.scala:238）
位于org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute（HiveContext.scala:225）
位于org.apache.spark.sql.hive.HiveContext.executionHive（HiveContext.scala:215）
位于org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute（HiveContext.scala:480）
位于org.apache.spark.sql.hive.HiveContext.functionRegistry（HiveContext.scala:479）
位于org.apache.spark.sql.UDFRegistration（UDFRegistration.scala:40）
位于org.apache.spark.sql.SQLContext（SQLContext.scala:330）
位于org.apache.spark.sql.hive.HiveContext（HiveContext.scala:90）
位于org.apache.spark.sql.hive.HiveContext（HiveContext.scala:101）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:422）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:234）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:381）
在py4j.Gateway.invoke处（Gateway.java:214）
位于py4j.commands.ConstructorCommand.invokeConstructor（ConstructorCommand.java:79）
在py4j.commands.ConstructorCommand.execute处（ConstructorCommand.java:68）
在py4j.GatewayConnection.run处（GatewayConnection.java:209）
运行（Thread.java:745）
原因：java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
位于org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1523）
位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient。（RetryingMetaStoreClient.java:86）
位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:132）
位于org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:104）
位于org.apache.hadoop.hive.ql.metadata.hive.createMetaStoreClient（hive.java:3005）
位于org.apache.hadoop.hive.ql.metadata.hive.getMSC（hive.java:3024）
位于org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:503）
... 还有21个
原因：java.lang.reflect.InvocationTargetException
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
位于java.lang.reflect.Constructor.newInstance（Constructor.java:422）
位于org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1521）
... 还有27个
原因：javax.jdo.JDOFatalInternalException:捕获意外异常。
嵌套的工作流表：
java.lang.reflect.InvocationTargetException
在javax.jdo.JDOHelper.InvokeGetPersistenceManager工厂实现中（JDOHelper.java:1193）
位于javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:808）
位于javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:701）
位于org.apache.hadoop.hive.metastore.ObjectStore.getPMF（ObjectStore.java:365）
位于org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager（ObjectStore.java:394）
位于org.apache.hadoop.hive.metastore.ObjectStore.initialize（ObjectStore.java:291）
位于org.apache.hadoop.hive.metastore.ObjectStore.setConf（ObjectStore.java:258）
位于org.apache.hadoop.util.ReflectionUtils.setConf（ReflectionUtils.java:76）
位于org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.java:136）
位于org.apache.hadoop.hive.metastore.RawStoreProxy。（RawStoreProxy.java:57）
位于org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy（RawStoreProxy.java:66）
位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore（HiveMetaStore.java:593）
位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS（HiveMetaStore.java:571）
位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB（HiveMetaStore.java:624）
位于org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init（HiveMetaStore.java:461）
位于org.apache.hadoop.hive.metastore.RetryingHMSHandler（RetryingHMSHandler.java:66）
位于org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy（RetryingHMSHandler.java:72）
位于org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler（HiveMetaStore.java:5762）
位于org.apache.hadoop.hive.metastore.HiveMetaStoreClient。（HiveMetaStoreClient.java:199）
位于org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。（SessionHiveMetaStoreClient.java:74）
... 32多
原因：java.lang.reflect.InvocationTargetException
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处