Hadoop HiveContext无法从Oozie工作
我试图使用HiveContext对象从spark代码运行一些配置单元查询。当我使用spark submit从命令行运行它时,它工作得很好。但是,当我尝试从oozie工作流运行相同的程序时,我遇到了以下异常Hadoop HiveContext无法从Oozie工作,hadoop,apache-spark,hive,oozie,hivecontext,Hadoop,Apache Spark,Hive,Oozie,Hivecontext,我试图使用HiveContext对象从spark代码运行一些配置单元查询。当我使用spark submit从命令行运行它时,它工作得很好。但是,当我尝试从oozie工作流运行相同的程序时,我遇到了以下异常 User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessio
User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
如果使用配置单元类,则应将配置单元共享库添加到Spark操作。 您可以在oozie-default.xml、工作流或操作配置中设置以下属性:
<configuration>
<property>
<name>oozie.action.sharelib.for.spark</name>
<value>spark,hive</value>
</property>
</configuration>
oozie.action.sharelib.for.spark
蜂巢
如果使用了配置单元类,则应将配置单元共享库添加到Spark操作中。
您可以在oozie-default.xml、工作流或操作配置中设置以下属性:
<configuration>
<property>
<name>oozie.action.sharelib.for.spark</name>
<value>spark,hive</value>
</property>
</configuration>
oozie.action.sharelib.for.spark
蜂巢
我使用上述属性更新了工作流,工作流成功。但是,我无法找到正在创建的表。您可能必须使用标记中的--pathi/to/hive-site.xml文件将hive-site.xml插入工作流的标记和Spark。我使用上述属性更新了工作流,工作流成功。但是,我无法找到正在创建的表。您可能必须使用标记中的--pathi/to/hive-site.xml文件将hive-site.xml插入工作流的标记和Spark中。