Hadoop 在Oozie中将作业调度为文件触发器
使用oozie,我们可以在hadoop中提交作业,这是否可能使作业提交由文件可用性触发。例如,成功地将文件复制到hdfs后,Oozie必须提交作业。可能吗?在数据集中使用“完成标志”标记。像Hadoop 在Oozie中将作业调度为文件触发器,hadoop,oozie,Hadoop,Oozie,使用oozie,我们可以在hadoop中提交作业,这是否可能使作业提交由文件可用性触发。例如,成功地将文件复制到hdfs后,Oozie必须提交作业。可能吗?在数据集中使用“完成标志”标记。像 <datasets> <dataset name="dataset1" frequency="${coord:hours(1)}" initial-instance="${startTime}" timezone="UTC"> <u
<datasets>
<dataset name="dataset1" frequency="${coord:hours(1)}"
initial-instance="${startTime}" timezone="UTC">
<uri-template>
${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
</uri-template>
<done-flag>_SUCCESS</done-flag>
</dataset>
</datasets>
${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
_成功
如果done标志设置为空,那么协调器将查找目录本身是否存在。
如果_SUCCESS(或标记中指定的任何文件名)文件存在于您的目录中,则协调器将继续
有关更多信息,请参阅-