Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop HiveContext无法从Oozie工作_Hadoop_Apache Spark_Hive_Oozie_Hivecontext - Fatal编程技术网

Hadoop HiveContext无法从Oozie工作

Hadoop HiveContext无法从Oozie工作,hadoop,apache-spark,hive,oozie,hivecontext,Hadoop,Apache Spark,Hive,Oozie,Hivecontext,我试图使用HiveContext对象从spark代码运行一些配置单元查询。当我使用spark submit从命令行运行它时,它工作得很好。但是,当我尝试从oozie工作流运行相同的程序时,我遇到了以下异常 User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessio

我试图使用HiveContext对象从spark代码运行一些配置单元查询。当我使用spark submit从命令行运行它时,它工作得很好。但是,当我尝试从oozie工作流运行相同的程序时,我遇到了以下异常

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

如果使用配置单元类,则应将配置单元共享库添加到Spark操作。 您可以在oozie-default.xml、工作流或操作配置中设置以下属性:

<configuration>
   <property>
      <name>oozie.action.sharelib.for.spark</name>
      <value>spark,hive</value>
   </property>
</configuration>

oozie.action.sharelib.for.spark
蜂巢

如果使用了配置单元类,则应将配置单元共享库添加到Spark操作中。 您可以在oozie-default.xml、工作流或操作配置中设置以下属性:

<configuration>
   <property>
      <name>oozie.action.sharelib.for.spark</name>
      <value>spark,hive</value>
   </property>
</configuration>

oozie.action.sharelib.for.spark
蜂巢

我使用上述属性更新了工作流,工作流成功。但是,我无法找到正在创建的表。您可能必须使用标记中的--pathi/to/hive-site.xml文件将hive-site.xml插入工作流的标记和Spark。我使用上述属性更新了工作流,工作流成功。但是,我无法找到正在创建的表。您可能必须使用标记中的--pathi/to/hive-site.xml文件将hive-site.xml插入工作流的标记和Spark中。