Hive 使用Nifi计划批量数据插入到配置单元

Hive 使用Nifi计划批量数据插入到配置单元,hive,hiveql,apache-nifi,Hive,Hiveql,Apache Nifi,我正在使用Nifi来管理我的数据流。 我首先使用ConsumerKafka处理器接收数据,然后使用EvaluateJsonPath和ReplaceText处理器获取此请求 insert into my_table values('x1','x2','x3'); 最后,该请求被馈送到PuthiveQl处理器。 通过这种方式,我将数据逐行插入到配置单元表中,工作正常,但这是一种非常糟糕的方法 我只想知道如何获得这样的请求 insert into my_table values('x1','x2',

我正在使用Nifi来管理我的数据流。 我首先使用ConsumerKafka处理器接收数据,然后使用EvaluateJsonPathReplaceText处理器获取此请求

insert into my_table values('x1','x2','x3');
最后,该请求被馈送到PuthiveQl处理器。 通过这种方式,我将数据逐行插入到配置单元表中,工作正常,但这是一种非常糟糕的方法

我只想知道如何获得这样的请求

insert into my_table values('x1','x2','x3'),('x11','x22','x33'),('x111','x222','x333');
通过插入;在一天结束时进行查询,以便每24小时将一批数据插入到配置单元中

请在Nifi中找到随附的我的数据流


我找到了解决方案,但仅限于第一部分。 使用此数据流

我终于可以得到这样一个问题了

insert into my_table values('x1','x2','x3'),('x11','x22','x33'),('x111','x222','x333');
在my_表中插入值('x1'、'x2'、'x3')、('x11'、'x22'、'x33')、('x111'、'x222'、'x333')

我使用了第一个ReplaceText处理器,只获取要在最后插入逗号的值

然后我合并了内容(要设置的最大和最小条目数) 第二个替换文本处理器是将句子插入合并内容开头的my_表值中

最后,我使用第三个ReplaceText处理器将最后一个替换为在查询的末尾。

对于日程安排的任务,我还没有找到解决方案