Apache nifi 如何在Nifi中使用MergeConent处理器
我有一个Nifi流,其中Json中有多行数据,对于每一行,需要执行以下操作:Apache nifi 如何在Nifi中使用MergeConent处理器,apache-nifi,Apache Nifi,我有一个Nifi流,其中Json中有多行数据,对于每一行,需要执行以下操作: 拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql) 获取表A的字段并将它们放入数据库中。这个 此操作的返回值是从表A自动生成的ID 从表插入中获取返回值并与表B字段合并。表A中的返回值成为表B中的参考值,因此拆分行条目被链接 我已经设置了流程(见图),但使用MergeContent处理器失败,因为我认为它不知道如何正确合并内容。例如,如果我有200行,它只合并一行,其余的将失败。我在N
- 拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql)
- 获取表A的字段并将它们放入数据库中。这个 此操作的返回值是从表A自动生成的ID
- 从表插入中获取返回值并与表B字段合并。表A中的返回值成为表B中的参考值,因此拆分行条目被链接
MergeContent
处理器失败,因为我认为它不知道如何正确合并内容。例如,如果我有200行,它只合并一行,其余的将失败。我在Nifi
中读到过有关碎片整理的内容,但未能成功实施,因此欢迎您的任何意见
流程图:
使用合并处理器时,流文件应具有正确的属性,如
片段.index
、片段.identifier
和片段.count
。如果您的流文件没有这个,合并将无法工作
在大多数情况下,分割记录时会自动创建这些属性。因此,您只需在ConvertAvroToJson
之前使用SplitAvro
添加拆分进程即可。它将把你的查询结果一行一行地分割出来,做你想做的事情,然后合并