Mysql 如何在sqoop作业中查看增量更新值?
下面是我创建的sqoop作业Mysql 如何在sqoop作业中查看增量更新值?,mysql,hadoop,hdfs,sqoop,Mysql,Hadoop,Hdfs,Sqoop,下面是我创建的sqoop作业 sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --in
sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --incremental append --check-column category_id --last-value 10 -m 1
例如:最后一个值为10
现在我运行了两次sqoop作业,每次都在mysql中添加新记录,这样增量操作将执行追加到HDFS中现有数据的操作
问题是,每次使用sqoop作业--exec sqoop\u incremental\u作业运行作业时,最后一个值是如何更新的,以及每次运行作业时,如何查看更新的值???根据sqoop:
如果从保存的作业运行增量导入,则此值将保留在保存的作业中。后续运行的sqoop作业--exec someIncrementalJob
将继续只导入比先前导入的行更新的行
为了看到最后的价值
如果从命令行运行增量导入,则在后续增量导入中应指定为--last value
的值将打印到屏幕上以供参考
根据sqoop:
如果从保存的作业运行增量导入,则此值将保留在保存的作业中。后续运行的sqoop作业--exec someIncrementalJob
将继续只导入比先前导入的行更新的行
为了看到最后的价值
如果从命令行运行增量导入,则在后续增量导入中应指定为--last value
的值将打印到屏幕上以供参考
或者,如果日志丢失。使用下面的命令
sqoop作业--show
-它将列出作业的所有属性
指
incremental.last.value-这将包含执行的增量作业的最新值
每当我们通过sqoop作业--exec
运行作业时,它都会被更新,或者如果日志丢失了。使用下面的命令
sqoop作业--show
-它将列出作业的所有属性
指
incremental.last.value-这将包含执行的增量作业的最新值
每次通过sqoop job--exec运行作业时,它都会被更新。它会打印在屏幕上以供参考。或者,我们也可以使用sqoop作业--show来查看该值。它将列出job incremental.last.value的属性-每次运行增量作业时,它都会更新。它将打印在屏幕上以供参考。或者,我们也可以使用sqoop作业--show来查看该值。它将列出job incremental.last.value的属性-它将在每次运行增量作业时更新。