Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sockets/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Csv Apache Nifi MergeContent-输出大小错误_Csv_Apache Nifi - Fatal编程技术网

Csv Apache Nifi MergeContent-输出大小错误

Csv Apache Nifi MergeContent-输出大小错误,csv,apache-nifi,Csv,Apache Nifi,我在使用MergeContent处理器时遇到问题。具体地说,它看起来不符合配置,并且不一致地对流文件进行分组 这就是我当前的流程: csv文件被逐行拆分为行 向每行添加一个merge.id属性,该属性的值为UUID 行被拆分为单独处理的记录 现在,我需要根据merge.id值将记录恢复到一起。这就是我的MergeContent处理器的配置方式: 我得到的结果是,前几行在处理后正确地合并在一起,然后我开始得到小于指定值10的值。这是不正确的行为吗?我错过了什么 提前感谢您的帮助当您指定mer

我在使用MergeContent处理器时遇到问题。具体地说,它看起来不符合配置,并且不一致地对流文件进行分组

这就是我当前的流程:

  • csv文件被逐行拆分为行
  • 向每行添加一个merge.id属性,该属性的值为UUID
  • 行被拆分为单独处理的记录
现在,我需要根据merge.id值将记录恢复到一起。这就是我的MergeContent处理器的配置方式:

我得到的结果是,前几行在处理后正确地合并在一起,然后我开始得到小于指定值10的值。这是不正确的行为吗?我错过了什么


提前感谢您的帮助

当您指定merge.id时,这是在行内容上显式执行还是作为属性执行?我将其指定为FlowFile属性。我试图降低传入流文件的速度,但我不再遇到这些问题。这是否与垃圾箱数量相对于进货率而言太少有关?我希望出现警告而不是这种行为。是的,如果是这种情况,我会怀疑您的相关id的唯一值的数量超过了最大的存储箱数量,此时,处理器将开始清空存储箱,为接收到的新记录腾出空间。这是当前记录的,但处于调试级别。如果您将处理器的公告级别调整为调试,我们可以确认可疑行为。我在“信息”上有它,这就是为什么我没有注意到任何东西。垃圾箱的数量是否有建议的限制?如果我为该处理器安排了n个任务,我是否会得到n倍的最大存储箱数?无论如何,我切换到“调试”,但处理器上没有实时显示调试条目。我尝试使用grep查看日志,但仍然没有调试条目。但是,我可以通过减少箱子和任务的数量来重现错误。您认为可能是其他原因吗?您是否能够创建一个问题()并共享流的模板,以便我们可以深入了解情况?当您指定merge.id时,这是在行内容上显式执行还是作为属性执行?我将其指定为流文件属性。我试图降低传入流文件的速度,但我不再遇到这些问题。这是否与垃圾箱数量相对于进货率而言太少有关?我希望出现警告而不是这种行为。是的,如果是这种情况,我会怀疑您的相关id的唯一值的数量超过了最大的存储箱数量,此时,处理器将开始清空存储箱,为接收到的新记录腾出空间。这是当前记录的,但处于调试级别。如果您将处理器的公告级别调整为调试,我们可以确认可疑行为。我在“信息”上有它,这就是为什么我没有注意到任何东西。垃圾箱的数量是否有建议的限制?如果我为该处理器安排了n个任务,我是否会得到n倍的最大存储箱数?无论如何,我切换到“调试”,但处理器上没有实时显示调试条目。我尝试使用grep查看日志,但仍然没有调试条目。但是,我可以通过减少箱子和任务的数量来重现错误。你认为可能是其他原因吗?你能创建一个问题()并分享你的流程模板,这样我们就可以深入了解一下发生了什么?