Mysql hadoop如何处理对从RDBMS摄取的行的更改_Mysql_Hadoop_Mapreduce_Hdfs_Sqoop

Mysql hadoop如何处理对从RDBMS摄取的行的更改

mysql hadoop mapreduce

Mysql hadoop如何处理对从RDBMS摄取的行的更改,mysql,hadoop,mapreduce,hdfs,sqoop,Mysql,Hadoop,Mapreduce,Hdfs,Sqoop,我有一个场景，在这个场景中，数据每天都从MYSQL数据库摄取到hadoop中，并保存到一个过时的文件夹中。每天将编辑很少的行，并且可能会有一些架构更改。如果我只对最新的数据和模式感兴趣，那么在hadoop中我们如何处理这个问题呢。此外，Sqoop可以在导入数据时使用表名，因此如果模式发生更改，Sqoop命令应该是相同的 bin/sqoop导入--连接jdbc:mysql://localhost/bigdata --表widgets-m1 虽然这对新数据有好处，但是当有人在MySql中编辑了一条记

我有一个场景，在这个场景中，数据每天都从MYSQL数据库摄取到hadoop中，并保存到一个过时的文件夹中。每天将编辑很少的行，并且可能会有一些架构更改。如果我只对最新的数据和模式感兴趣，那么在hadoop中我们如何处理这个问题呢。此外，Sqoop可以在导入数据时使用表名，因此如果模式发生更改，Sqoop命令应该是相同的

bin/sqoop导入--连接jdbc:mysql://localhost/bigdata --表widgets-m1

虽然这对新数据有好处，但是当有人在MySql中编辑了一条记录时，我们如何处理它呢？Sqoop支持append和LASTMODIFED。Sqoop仅在您试图摄取的表中有一个带有时间戳的字段时才支持“LASTMODIFED”选项。这真的是OP问题的答案吗？