Hive 增量导出配置单元数据

我们需要以增量方式运行HiveQL并将结果导出到avro fromat中的文件中，并且需要导出记录

以下是我看到的两种方法，以及在使用它们时遇到的挑战

选项1：使用清管器和客户装载机： A.编写运行配置单元查询的自定义清管器加载程序。 B编写清管器流并创建与hive loader结果的关系。 C将结果保存在avro文件中

备选案文2。SQOOP导出-我找不到为什么要增量导出配置单元查询结果

到目前为止，根据我的分析，我认为选择1更适合我的要求

---

有人能解释一下，如果您认为我们可以在sqoop中轻松实现这一点吗？

sqoop可以将数据从HDFS目录导出到目标数据库，而不是文件。在这种情况下，sqoop不能

读取增量结果，除非您有单独的配置单元表或分区（这将导致新目录）

以avro格式写入外部文件

---

谢谢你有没有其他办法来满足我的要求？