Hive sqoop增量导入到配置单元表

我正在尝试对配置单元表执行sqoop增量导入（lastmodified）。它在SQOOP1.4.5中工作，但在SQOOP1.4.6中不工作

它抛出以下错误

**日志上传时间：2017年11月13日星期一17:57:58+0530

        Log Length: 246
      --incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified.

拦截系统出口（1）

---

Oozie启动器失败，主类[org.apache.Oozie.action.hadoop.SqoopMain]，退出代码[1]**

Sqoop 1.4.6不支持直接增量导入到配置单元表

但是，您可以在不使用

--hive import

选项的情况下导入增量数据，并使用

--target dir

选项将增量数据放置在映射到hive表的HDFS位置

比如说

假设有一个表

sqoop\u pract

，其位置设置为

/user/hive/warehouse/sqoop\u pract

如果要对此表执行增量导入，可以使用类似于以下内容的查询

sqoop import --connect jdbc:mysql://hostname/sample_db --username demo --table sqoop_pract --target-dir /user/hive/warehouse/sqoop_pract --incremental lastmodified --check-column Ts --last-value '2017-11-08 03:51:42' --append -P

在上面的命令中，

--target dir

指向配置单元表的位置，这样您就可以使用sqoop实现对配置单元表的增量导入

Sqoop（1.4.6或更低版本）导入可以使用

--hive import

和

--incremental lastmodified

选项运行，但会产生意外的结果。

---

请参见

您可以选择hcatalog而不是hive。

感谢您的详细解释，您是否知道为什么在1.4.6版本中删除hive导入选项的原因。不，我不知道在导入的表中，数据中有某些换行符。有什么可以解决的吗？hive drop delims。非常感谢sqoop提交者打破了我们的传统工作，今天面临着同样的问题。感谢您的回复。你能详细说明你的回答吗。