Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/68.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mysql 如何在sqoop作业中查看增量更新值?_Mysql_Hadoop_Hdfs_Sqoop - Fatal编程技术网

Mysql 如何在sqoop作业中查看增量更新值?

Mysql 如何在sqoop作业中查看增量更新值?,mysql,hadoop,hdfs,sqoop,Mysql,Hadoop,Hdfs,Sqoop,下面是我创建的sqoop作业 sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --in

下面是我创建的sqoop作业

sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --incremental append --check-column category_id --last-value 10 -m 1
例如:最后一个值为10

现在我运行了两次sqoop作业,每次都在mysql中添加新记录,这样增量操作将执行追加到HDFS中现有数据的操作

问题是,每次使用
sqoop作业--exec sqoop\u incremental\u作业运行作业时,最后一个值是如何更新的,以及每次运行作业时,如何查看更新的值???

根据sqoop:

如果从保存的作业运行增量导入,则此值将保留在保存的作业中。后续运行的
sqoop作业--exec someIncrementalJob
将继续只导入比先前导入的行更新的行

为了看到最后的价值

如果从命令行运行增量导入,则在后续增量导入中应指定为
--last value
的值将打印到屏幕上以供参考

根据sqoop:

如果从保存的作业运行增量导入,则此值将保留在保存的作业中。后续运行的
sqoop作业--exec someIncrementalJob
将继续只导入比先前导入的行更新的行

为了看到最后的价值

如果从命令行运行增量导入,则在后续增量导入中应指定为
--last value
的值将打印到屏幕上以供参考


或者,如果日志丢失。使用下面的命令

sqoop作业--show
-它将列出作业的所有属性

incremental.last.value-这将包含执行的增量作业的最新值


每当我们通过
sqoop作业--exec

运行作业时,它都会被更新,或者如果日志丢失了。使用下面的命令

sqoop作业--show
-它将列出作业的所有属性

incremental.last.value-这将包含执行的增量作业的最新值


每次通过
sqoop job--exec运行作业时,它都会被更新。它会打印在屏幕上以供参考。或者,我们也可以使用sqoop作业--show来查看该值。它将列出job incremental.last.value的属性-每次运行增量作业时,它都会更新。它将打印在屏幕上以供参考。或者,我们也可以使用sqoop作业--show来查看该值。它将列出job incremental.last.value的属性-它将在每次运行增量作业时更新。