Apache nifi ApacheNIFI-将一个大型Json文件拆分为多个具有指定数量记录的文件

Apache nifi ApacheNIFI-将一个大型Json文件拆分为多个具有指定数量记录的文件,apache-nifi,Apache Nifi,我是Nifi的新手,希望得到一些指导 我们希望将一个大型Json文件拆分为多个具有指定数量记录的文件。我可以使用SplitJson将文件拆分为单独的记录,Json路径表达式设置为$..*我还添加了一个UpdateAttribute处理器,文件名设置为${filename}{U${fragment.index},这样我们就有了文件序列,因为顺序很重要。 但是,我们可能希望将100000条记录拆分为100个文件,每个文件包含1000条记录。最简单的方法是什么? 非常感谢,这里有一个SplitReco

我是Nifi的新手,希望得到一些指导 我们希望将一个大型Json文件拆分为多个具有指定数量记录的文件。我可以使用SplitJson将文件拆分为单独的记录,Json路径表达式设置为$..*我还添加了一个UpdateAttribute处理器,文件名设置为${filename}{U${fragment.index},这样我们就有了文件序列,因为顺序很重要。 但是,我们可能希望将100000条记录拆分为100个文件,每个文件包含1000条记录。最简单的方法是什么?
非常感谢,这里有一个
SplitRecord
处理器。您可以定义每个文件要拆分的记录数,例如:

Record Reader      CSVReader
Record Writer      CSVRecordSetWriter
Records Per Split  3
我用记录测试过

id
1
...
8

它被分成3个文件,id=(1,2,3),(4,5,6),(7,8)。

将内容与
[
页眉、
]
页脚和
delim合并。因此,结果将是json对象数组。或mergerecord ProcessorTanks,以获得您的帮助