Apache nifi 数据流的速率超过了源记录速率。减慢流量以适应

Apache nifi 数据流的速率超过了源记录速率。减慢流量以适应,apache-nifi,Apache Nifi,我正在使用nifi 1.1.0,并且在上面运行了太多的处理器,因此它有太多的负载要运行。由于负载过大,处理器运行速度非常慢,我遇到一些错误: The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate. 我在“nifi.properties”文件中更改了源库的存储大小,但没有改进。我更改了以下属性: nifi.provenance.repositor

我正在使用nifi 1.1.0,并且在上面运行了太多的处理器,因此它有太多的负载要运行。由于负载过大,处理器运行速度非常慢,我遇到一些错误:

The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate.

我在“nifi.properties”文件中更改了源库的存储大小,但没有改进。我更改了以下属性:

nifi.provenance.repository.max.storage.size = 2 GB
我在谷歌上搜索了一下,但没有找到合适的解决方案。谁能帮我解决这个问题

请查找以下相同的屏幕截图:


该错误属于以下属性

nifi.provenance.repository.index.threads=1
默认值为1

对于操作大量流文件的流,源事件的索引可能成为瓶颈

如果是这种情况,将出现一个公告,指出“数据流的速率超过了源记录速率。减慢流以适应。”

如果发生这种情况,增加此属性的值可能会提高源存储库处理这些记录的速度,从而提高总体吞吐量

请记住,随着分配给一个进程的线程数的增加,另一个进程的可用线程数也会减少。因此,除非遇到上述错误消息,否则您应该将其保留为1

出于您的考虑,您可以使用以下最佳实践配置NiFi


您可能会获得更好的业绩。

应设置新的默认来源回购: nifi.provence.repository.implementation=org.apache.nifi.provence.WriteAheadProvenanceRepository


我能给出的最大数字是多少?您可以将其增加到3或4。我已将其值更改为4,但仍然很慢。一切都没有改变。性能没有改进。您是否为处理器设置了任何并发任务?没有改进。现在我能做什么?