Apache nifi 正在从SplitRecord处理器Nifi运行记录计数

Apache nifi 正在从SplitRecord处理器Nifi运行记录计数,apache-nifi,kylo,Apache Nifi,Kylo,有没有办法从SplitRecord处理器Nifi获取片段索引?我将一个非常大的xls(4个工厂记录)拆分为“每个拆分记录”=100000 现在我只想处理前2个分割,以查看文件的质量并拒绝文件的其余部分 我可以看到片段索引位于其他拆分函数(例如JsonSplit)中,但不在记录拆分中。还有其他黑客吗?方法1: 通过使用控制速率处理器,我们可以实现这种情况 控制速率处理器: 通过此配置,我们每分钟发布2个流文件 流量: 将队列过期时间配置为10秒(如果需要,可以更低),然后队列中的流文件将过期,

有没有办法从SplitRecord处理器Nifi获取片段索引?我将一个非常大的xls(4个工厂记录)拆分为“每个拆分记录”=100000

现在我只想处理前2个分割,以查看文件的质量并拒绝文件的其余部分


我可以看到片段索引位于其他拆分函数(例如JsonSplit)中,但不在记录拆分中。还有其他黑客吗?

方法1:

通过使用控制速率处理器,我们可以实现这种情况

控制速率处理器:

通过此配置,我们每分钟发布2个流文件

流量:

将队列过期时间配置为10秒(如果需要,可以更低),然后队列中的流文件将过期,但前2个流文件将被释放

方法2:

通过使用SplitText处理器,然后使用RouteOnAttribute处理器并将新属性添加为

${fragment.index:le(2)}
通过使用上述表达式语言,我们只允许前2个片段索引

请参阅NiFi中拆分大文件的链接