Shell 我们如何使用linux脚本在Sqoop中自动化从DB到HBase的增量导入
使用sqoop作业,我们可以使用Shell 我们如何使用linux脚本在Sqoop中自动化从DB到HBase的增量导入,shell,hadoop,hbase,sqoop,sqoop2,Shell,Hadoop,Hbase,Sqoop,Sqoop2,使用sqoop作业,我们可以使用--lastval 但是,我们如何对shell脚本执行相同的操作,以及在自动化脚本时如何获得--lastval 我的意思是如何存储--lastval以及如何将其传递给下一次 提前感谢您的帮助 如何存储--lastval以及如何将其传递给下一次 在linux或unix中将--lastval定义为别名或导出变量。可以从自动化脚本中重试 l export lastupdatedvalue=hive-e'根据逻辑从表中选择last_值 sqoop import --con
--lastval
但是,我们如何对shell脚本执行相同的操作,以及在自动化脚本时如何获得--lastval
我的意思是如何存储--lastval
以及如何将其传递给下一次
提前感谢您的帮助
如何存储--lastval以及如何将其传递给下一次
在linux或unix中将--lastval
定义为别名或导出变量。可以从自动化脚本中重试
l
export lastupdatedvalue=hive-e'根据逻辑从表中选择last_值
sqoop import --connect jdbc:mysql://localhost:3306/ydb --table <your table> --username root -P --incremental append --last-value ${lastupdatedvalue}
如果从命令行运行增量导入,Sqoop将在后续增量导入中打印最后一个值。如果从保存的作业运行增量导入,Sqoop将保留保存的作业中的最后一个值。要仅导入比以前导入的行更新的行,请使用--exec选项。Sqoop只导入id大于指定行id的行。谢谢RamPrasad,如果您不介意的话,可以给我一个代码片段。
--incremental
--check-column id
--last-value 100