Hadoop 如何使用简单的输入事件设置Oozie协调器?
如何设置Oozie coordinator输入事件,该事件可以存在也可以不存在?请填写表格???有关下列事项:Hadoop 如何使用简单的输入事件设置Oozie协调器?,hadoop,oozie,oozie-coordinator,Hadoop,Oozie,Oozie Coordinator,如何设置Oozie coordinator输入事件,该事件可以存在也可以不存在?请填写表格???有关下列事项: <coordinator-app name="${jobName}" frequency="${coord:days(1)}" start="${startTime}" end="${endTime}" timezone="${timezone}" xmlns="uri:oozie:coordinator:0.2"> <controls>
<coordinator-app name="${jobName}" frequency="${coord:days(1)}" start="${startTime}" end="${endTime}" timezone="${timezone}" xmlns="uri:oozie:coordinator:0.2">
<controls>
<timeout>-1</timeout>
<concurrency>30</concurrency>
<execution>FIFO</execution>
</controls>
<datasets>
<dataset name="myData" frequency="???" initial-instance="???" timezone="UTC">
<uri-template>/time-independent/path/that/may/or/maynot/be/there</uri-template>
</dataset>
</datasets>
<input-events>
<data-in name="myInput" dataset="myData">
<instance>???</instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path>${myAppPath}</app-path>
<configuration>
<property>
<name>myInput</name>
<value>${coord:dataIn('myInput')}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>
-1
30
先进先出
/时间无关/路径/可能/或/可能不在/那里
???
${myAppPath}
我的输入
${coord:dataIn('myInput')}
谢谢,
Alvaro数据集频率值将为${coord:days(1)},因为您希望为每天安排它 starttime将是您希望开始作业时的值。例如2017-01-22T12:00Z. 因此,更新后的协调器xml如下所示:
<coordinator-app name="${jobName}" frequency="${coord:days(1)}" start="${startTime}" end="${endTime}" timezone="${timezone}"
xmlns="uri:oozie:coordinator:0.2">
<controls>
<timeout>-1</timeout>
<concurrency>30</concurrency>
<execution>FIFO</execution>
</controls>
<datasets>
<dataset name="myData" frequency="${coord:days(1)}" initial-instance="${startTime}" timezone="UTC">
<uri-template>/time-independent/path/that/may/or/maynot/be/there</uri-template>
</dataset>
</datasets>
<input-events>
<data-in name="myInput" dataset="myData">
<instance>${startTime}</instance>
</data-in>
</input-events>
<action>
<workflow>
<app-path>${myAppPath}</app-path>
<configuration>
<property>
<name>myInput</name>
<value>${coord:dataIn('myInput')}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>
-1
30
先进先出
/时间无关/路径/可能/或/可能不在/那里
${startTime}
${myAppPath}
我的输入
${coord:dataIn('myInput')}
是否可以定义可选的输入事件
例如:
我定义了4个输入事件。。A、B、C和D
看起来我们必须使用所有的数据集