Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/lua/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在本地模式下运行oozie会出现错误_Hadoop_Oozie - Fatal编程技术网

Hadoop 在本地模式下运行oozie会出现错误

Hadoop 在本地模式下运行oozie会出现错误,hadoop,oozie,Hadoop,Oozie,我正在尝试使用下面的xml运行oozie作业。但是,操作失败,出现以下错误: 主类[org.apache.oozie.action.hadoop.SparkMain],退出代码[101] 通过对日志的分析,我发现错误是由java.lang.ClassNotFoundException:Mainclass引起的。然而,Mainclass存在于hdfs位置的jar中。jar在下面的xml中指定。以下是我的代码: <action name="action1" cred="hive_credent

我正在尝试使用下面的xml运行oozie作业。但是,操作失败,出现以下错误:

主类[org.apache.oozie.action.hadoop.SparkMain],退出代码[101]

通过对日志的分析,我发现错误是由java.lang.ClassNotFoundException:Mainclass引起的。然而,Mainclass存在于hdfs位置的jar中。jar在下面的xml中指定。以下是我的代码:

<action name="action1" cred="hive_credentials">
                <spark xmlns="uri:oozie:spark-action:0.2">
                        <job-tracker>${jobTracker}</job-tracker>
                        <name-node>${nameNode}</name-node>
                        <master>local[*]</master>
                        <name>name</name>
                        <class>Mainclass</class>
                        <jar>${jar1}</jar>
                        <spark-opts>
                                --files hive-site.xml --conf spark.yarn.security.tokens.hive.enabled=false
                        </spark-opts>
                        <arg>arg1</arg>
                        <file>${nameNode}/test/${wf:user()}/hive-site.xml</file>
                </spark>
                <ok to="end" />
                <error to="kill_job" />
        </action>

${jobTracker}
${nameNode}
本地[*]
名称
主类
${jar1}
--文件hive-site.xml--conf spark.warn.security.tokens.hive.enabled=false
arg1
${nameNode}/test/${wf:user()}/hive-site.xml
可能是什么问题?

我解决了这个问题

1) 直接在工作流xml旁边创建“lib”文件夹

2) 正在将Mainclass jar复制到lib文件夹

3) 仅在标记中指定jar名称,而不是完全限定的hdfs路径