Hadoop 将oozie作业上次运行日期传播到上次值
我有一个oozie工作流,它运行sqoop命令,根据lastupdatedate从表中增量加载数据。Hadoop 将oozie作业上次运行日期传播到上次值,hadoop,oozie,sqoop,Hadoop,Oozie,Sqoop,我有一个oozie工作流,它运行sqoop命令,根据lastupdatedate从表中增量加载数据。 如何设置--last值,以便获取从上次运行作业到现在的记录 如果要将数据导入配置单元表,可以从配置单元表中查询上次更新的值,并将该值传递给sqoop导入查询 基于逻辑的select查询的配置单元操作,以检索 上次更新的值 Sqoop操作,用于从 上一个蜂巢动作 PFB sudo工作流: <workflow-app name="sqoop-to-hive" xmlns="uri:oozie:
如何设置--last值,以便获取从上次运行作业到现在的记录 如果要将数据导入配置单元表,可以从配置单元表中查询上次更新的值,并将该值传递给sqoop导入查询
<workflow-app name="sqoop-to-hive" xmlns="uri:oozie:workflow:0.4">
<start to="hiveact"/>
<action name="hiveact">
<hive xmlns="uri:oozie:hive-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<script>script.sql</script>
<capture-output/>
</hive>
<ok to="sqoopact"/>
<error to="kill"/>
<action name="sqoopact">
<sqoop xmlns="uri:oozie:sqoop-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<command>import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${wf:actionData('hiveact')}</command>
</sqoop>
<ok to="end"/>
<error to="kill"/>
</action>
<kill name="kill">
<message>Action failed</message>
</kill>
<end name="end"/>
${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName}
script.sql
${jobTracker}
${nameNode}
导入--连接jdbc:mysql://localhost:3306/ydb --表yloc--username root-P--incremental append--last value${wf:actionData('hiveact')}
行动失败
希望这有帮助