Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jsf-2/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache nifi 如何在Nifi中使用MergeConent处理器_Apache Nifi - Fatal编程技术网

Apache nifi 如何在Nifi中使用MergeConent处理器

Apache nifi 如何在Nifi中使用MergeConent处理器,apache-nifi,Apache Nifi,我有一个Nifi流,其中Json中有多行数据,对于每一行,需要执行以下操作: 拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql) 获取表A的字段并将它们放入数据库中。这个 此操作的返回值是从表A自动生成的ID 从表插入中获取返回值并与表B字段合并。表A中的返回值成为表B中的参考值,因此拆分行条目被链接 我已经设置了流程(见图),但使用MergeContent处理器失败,因为我认为它不知道如何正确合并内容。例如,如果我有200行,它只合并一行,其余的将失败。我在N

我有一个Nifi流,其中Json中有多行数据,对于每一行,需要执行以下操作:

  • 拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql)
  • 获取表A的字段并将它们放入数据库中。这个 此操作的返回值是从表A自动生成的ID
  • 从表插入中获取返回值并与表B字段合并。表A中的返回值成为表B中的参考值,因此拆分行条目被链接
我已经设置了流程(见图),但使用
MergeContent
处理器失败,因为我认为它不知道如何正确合并内容。例如,如果我有200行,它只合并一行,其余的将失败。我在
Nifi
中读到过有关碎片整理的内容,但未能成功实施,因此欢迎您的任何意见

流程图:


使用合并处理器时,流文件应具有正确的属性,如
片段.index
片段.identifier
片段.count
。如果您的流文件没有这个,合并将无法工作

在大多数情况下,分割记录时会自动创建这些属性。因此,您只需在
ConvertAvroToJson
之前使用
SplitAvro
添加拆分进程即可。它将把你的查询结果一行一行地分割出来,做你想做的事情,然后合并