Hadoop 带有归档操作的Oozie工作流

Hadoop 带有归档操作的Oozie工作流,hadoop,hdfs,archive,oozie,Hadoop,Hdfs,Archive,Oozie,我想做一个oozie工作流,成功的最后一步是“归档”结果 shell中执行此操作的命令是 hadoop archive -archiveName=XXX.har -p /some/random/parent directorToArhive pathToArchiveDestination 我试过以下方法 <workflow-app name="HARD_CODED_ARCHIVE_TEST" xmlns="uri:oozie:workflow:0.4"> <sta

我想做一个oozie工作流,成功的最后一步是“归档”结果

shell中执行此操作的命令是

hadoop archive -archiveName=XXX.har -p /some/random/parent directorToArhive pathToArchiveDestination
我试过以下方法

<workflow-app name="HARD_CODED_ARCHIVE_TEST" xmlns="uri:oozie:workflow:0.4">

    <start to="archive"/>
    <action name="archive">
        <archive archiveName="xxx.har" src="/root/src/dir" dest="/path/to/desired/archive/location"/>
        <ok to="end"/>
        <error to="kill"/>
    </action>

    <kill name="kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>
所以很明显我不能这么做。因为oozie工作流模式不支持“归档”操作

我真的不想通过cron运行此操作,因为我希望在工作流成功完成后立即存档。如何执行此操作。

尝试以下操作:


${jobTracker}
${nameNode}
org.apache.hadoop.tools.hadoop档案
-档案名称
${YourArchiveName}.har
-p
${FilesParentDirectory}
${SrcDirectory}
${DestDirectory}

您只需要工作流中的hadoop-archives.jar文件。另外,别忘了把jar放在你的工作流目录中,你应该准备好了。希望有帮助

试试这个:


${jobTracker}
${nameNode}
org.apache.hadoop.tools.hadoop档案
-档案名称
${YourArchiveName}.har
-p
${FilesParentDirectory}
${SrcDirectory}
${DestDirectory}

您只需要工作流中的hadoop-archives.jar文件。另外,别忘了把jar放在你的工作流目录中,你应该准备好了。希望有帮助

试试这个:


${jobTracker}
${nameNode}
org.apache.hadoop.tools.hadoop档案
-档案名称
${YourArchiveName}.har
-p
${FilesParentDirectory}
${SrcDirectory}
${DestDirectory}

您只需要工作流中的hadoop-archives.jar文件。另外,别忘了把jar放在你的工作流目录中,你应该准备好了。希望有帮助

试试这个:


${jobTracker}
${nameNode}
org.apache.hadoop.tools.hadoop档案
-档案名称
${YourArchiveName}.har
-p
${FilesParentDirectory}
${SrcDirectory}
${DestDirectory}

您只需要工作流中的hadoop-archives.jar文件。另外,别忘了把jar放在你的工作流目录中,你应该准备好了。希望有帮助

WARNING: Exception in Runloop of thread: main with message: E0701: XML schema error, cvc-complex-type.2.4.a: Invalid content was found starting with element 'archive'. One of '{"uri:oozie:workflow:0.4":map-reduce, "uri:oozie:workflow:0.4":pig, "uri:oozie:workflow:0.4":sub-workflow, "uri:oozie:workflow:0.4":fs, "uri:oozie:workflow:0.4":java, WC[##other:"uri:oozie:workflow:0.4"]}' is expected.