Shell 我们如何使用linux脚本在Sqoop中自动化从DB到HBase的增量导入

Shell 我们如何使用linux脚本在Sqoop中自动化从DB到HBase的增量导入,shell,hadoop,hbase,sqoop,sqoop2,Shell,Hadoop,Hbase,Sqoop,Sqoop2,使用sqoop作业,我们可以使用--lastval 但是,我们如何对shell脚本执行相同的操作,以及在自动化脚本时如何获得--lastval 我的意思是如何存储--lastval以及如何将其传递给下一次 提前感谢您的帮助 如何存储--lastval以及如何将其传递给下一次 在linux或unix中将--lastval定义为别名或导出变量。可以从自动化脚本中重试 l export lastupdatedvalue=hive-e'根据逻辑从表中选择last_值 sqoop import --con

使用sqoop作业,我们可以使用
--lastval

但是,我们如何对shell脚本执行相同的操作,以及在自动化脚本时如何获得
--lastval

我的意思是如何存储
--lastval
以及如何将其传递给下一次

提前感谢您的帮助

如何存储--lastval以及如何将其传递给下一次

在linux或unix中将
--lastval
定义为别名或导出变量。可以从自动化脚本中重试

l

export lastupdatedvalue=hive-e'根据逻辑从表中选择last_值

sqoop import --connect jdbc:mysql://localhost:3306/ydb --table <your table> --username root -P --incremental append --last-value ${lastupdatedvalue}

如果从命令行运行增量导入,Sqoop将在后续增量导入中打印最后一个值。如果从保存的作业运行增量导入,Sqoop将保留保存的作业中的最后一个值。要仅导入比以前导入的行更新的行,请使用--exec选项。Sqoop只导入id大于指定行id的行。

谢谢RamPrasad,如果您不介意的话,可以给我一个代码片段。
--incremental
--check-column id
--last-value 100