Hive 用于后续配置单元插入的存储过程式转换触发器

Hive 用于后续配置单元插入的存储过程式转换触发器,hive,etl,Hive,Etl,我们在配置单元中有两个表,第一个,我们称之为表A,是原始数据被转储的地方。表B中的数据是经过一些HiveQL转换后从表A派生的。(我知道Hive中没有存储过程)。在表A中插入新数据时,我们如何自动触发执行相同转换并将结果追加到表B的过程?对B的添加仅基于插入到A的新行,还是涉及到A的旧行?@DuduMarkovitz让我们假设从A到B的是1-1。在这种情况下,您可能需要使用额外的暂存表和从有两个选项可以填充A和B。另一个选项是在A上保留水印,只要A被插入日期/时间戳分割,并且可以有效地检索增量。

我们在配置单元中有两个表,第一个,我们称之为表A,是原始数据被转储的地方。表B中的数据是经过一些HiveQL转换后从表A派生的。(我知道Hive中没有存储过程)。在表A中插入新数据时,我们如何自动触发执行相同转换并将结果追加到表B的过程?

对B的添加仅基于插入到A的新行,还是涉及到A的旧行?@DuduMarkovitz让我们假设从A到B的是1-1。在这种情况下,您可能需要使用额外的暂存表和从有两个选项可以填充A和B。另一个选项是在A上保留水印,只要A被插入日期/时间戳分割,并且可以有效地检索增量。@DuduMarkovitz水印是什么意思?A的这个分区是否已被处理为B的标识符?如果我使用此解决方案,我们如何使其自动或触发?我假设您控制A的插入。您插入A。您从A检索新数据(基于当前水印)处理它并插入B。您更改水印。