Hive 如何使用sqoop工具执行增量加载

实际上，我的数据在Teradata表中。我已经使用sqoop导入命令将teradata表数据放入配置单元

但是，我的teradata表将每天获取数据。因此，需要将新添加的数据（即teradata中的增量数据）sqoop到配置单元表中

---

是否有人可以为我推荐一些解决方案…

如果您的表中有类似于行id/时间戳的任何列，那么您可以使用：

--增量[模式]--最后一个值[值]--检查列[列]

如果为此保存了作业，则可以跳过最后一个值，因为它将自动维护

---

--增量[模式]

有两种模式

lastmodified

和

append

，您可以根据自己的要求使用任何一个。

您可以详细说明一下，您想每天增加配置单元表吗？您的Teradata表中是否有某种插入/更新时间戳？…请务必仔细阅读Sqoop指南，第12章到第14章>>并思考这句话：“默认情况下，工作描述保存到存储在

$HOME/.sqoop/

中的私有存储库中”（即，在特定节点的本地磁盘上）“您可以将sqoop配置为使用共享元存储…”