Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 将oozie作业上次运行日期传播到上次值_Hadoop_Oozie_Sqoop - Fatal编程技术网

Hadoop 将oozie作业上次运行日期传播到上次值

Hadoop 将oozie作业上次运行日期传播到上次值,hadoop,oozie,sqoop,Hadoop,Oozie,Sqoop,我有一个oozie工作流,它运行sqoop命令,根据lastupdatedate从表中增量加载数据。 如何设置--last值,以便获取从上次运行作业到现在的记录 如果要将数据导入配置单元表,可以从配置单元表中查询上次更新的值,并将该值传递给sqoop导入查询 基于逻辑的select查询的配置单元操作,以检索 上次更新的值 Sqoop操作,用于从 上一个蜂巢动作 PFB sudo工作流: <workflow-app name="sqoop-to-hive" xmlns="uri:oozie:

我有一个oozie工作流,它运行sqoop命令,根据lastupdatedate从表中增量加载数据。
如何设置--last值,以便获取从上次运行作业到现在的记录

如果要将数据导入配置单元表,可以从配置单元表中查询上次更新的值,并将该值传递给sqoop导入查询

  • 基于逻辑的select查询的配置单元操作,以检索 上次更新的值
  • Sqoop操作,用于从 上一个蜂巢动作
  • PFB sudo工作流:

    <workflow-app name="sqoop-to-hive" xmlns="uri:oozie:workflow:0.4">
    <start to="hiveact"/>
    <action name="hiveact">
        <hive xmlns="uri:oozie:hive-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <script>script.sql</script>
    <capture-output/>
        </hive>    
        <ok to="sqoopact"/>
        <error to="kill"/>
    
    <action name="sqoopact">
        <sqoop xmlns="uri:oozie:sqoop-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <command>import --connect jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --incremental append --last-value ${wf:actionData('hiveact')}</command>
         </sqoop>
        <ok to="end"/>
        <error to="kill"/>
    </action>
    <kill name="kill">
        <message>Action failed</message>
    </kill>
    <end name="end"/>
    
    
    ${jobTracker}
    ${nameNode}
    mapred.job.queue.name
    ${queueName}
    script.sql
    ${jobTracker}
    ${nameNode}
    导入--连接jdbc:mysql://localhost:3306/ydb --表yloc--username root-P--incremental append--last value${wf:actionData('hiveact')}
    行动失败
    

    希望这有帮助