Hadoop 在Oozie中将作业调度为文件触发器

Hadoop 在Oozie中将作业调度为文件触发器,hadoop,oozie,Hadoop,Oozie,使用oozie,我们可以在hadoop中提交作业,这是否可能使作业提交由文件可用性触发。例如,成功地将文件复制到hdfs后,Oozie必须提交作业。可能吗?在数据集中使用“完成标志”标记。像 <datasets> <dataset name="dataset1" frequency="${coord:hours(1)}" initial-instance="${startTime}" timezone="UTC"> <u

使用oozie,我们可以在hadoop中提交作业,这是否可能使作业提交由文件可用性触发。例如,成功地将文件复制到hdfs后,Oozie必须提交作业。可能吗?

在数据集中使用“完成标志”标记。像

<datasets>
    <dataset name="dataset1" frequency="${coord:hours(1)}"
             initial-instance="${startTime}" timezone="UTC">
      <uri-template>
        ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
      </uri-template>
      <done-flag>_SUCCESS</done-flag>
    </dataset>

</datasets>

${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
_成功
如果done标志设置为空,那么协调器将查找目录本身是否存在。 如果_SUCCESS(或标记中指定的任何文件名)文件存在于您的目录中,则协调器将继续

有关更多信息,请参阅-