Apache nifi ApacheNIFI-将一个大型Json文件拆分为多个具有指定数量记录的文件
我是Nifi的新手,希望得到一些指导 我们希望将一个大型Json文件拆分为多个具有指定数量记录的文件。我可以使用SplitJson将文件拆分为单独的记录,Json路径表达式设置为$..*我还添加了一个UpdateAttribute处理器,文件名设置为${filename}{U${fragment.index},这样我们就有了文件序列,因为顺序很重要。 但是,我们可能希望将100000条记录拆分为100个文件,每个文件包含1000条记录。最简单的方法是什么?Apache nifi ApacheNIFI-将一个大型Json文件拆分为多个具有指定数量记录的文件,apache-nifi,Apache Nifi,我是Nifi的新手,希望得到一些指导 我们希望将一个大型Json文件拆分为多个具有指定数量记录的文件。我可以使用SplitJson将文件拆分为单独的记录,Json路径表达式设置为$..*我还添加了一个UpdateAttribute处理器,文件名设置为${filename}{U${fragment.index},这样我们就有了文件序列,因为顺序很重要。 但是,我们可能希望将100000条记录拆分为100个文件,每个文件包含1000条记录。最简单的方法是什么? 非常感谢,这里有一个SplitReco
非常感谢,这里有一个
SplitRecord
处理器。您可以定义每个文件要拆分的记录数,例如:
Record Reader CSVReader
Record Writer CSVRecordSetWriter
Records Per Split 3
我用记录测试过
id
1
...
8
它被分成3个文件,id=(1,2,3),(4,5,6),(7,8)。将内容与
[
页眉、]
页脚和,
delim合并。因此,结果将是json对象数组。或mergerecord ProcessorTanks,以获得您的帮助