Apache nifi Apache Nifi NewestFlowFileFirstPrioritizer意外行为

Apache nifi Apache Nifi NewestFlowFileFirstPrioritizer意外行为,apache-nifi,Apache Nifi,我已将Nifi配置为从三个卡夫卡主题中读取数据,然后使用UpdateAttribute处理器分配优先级,然后使用漏斗将数据组合到单个队列中,以便在远程终端上发布到卡夫卡主题 我有一个NiFi出站队列,配置了如下优先级: 优先属性优先权 NewestFlowFileFirstPrioritizer 在最小的测试环境中,我可以模拟网络中断,当重新连接时,我可以观察到,最新的高值记录将首先发布,较旧的高优先级数据随后将被重新填充,然后是中等优先级,然后是低优先级,这就是我想要的后进先出行为 当我将系统

我已将Nifi配置为从三个卡夫卡主题中读取数据,然后使用UpdateAttribute处理器分配优先级,然后使用漏斗将数据组合到单个队列中,以便在远程终端上发布到卡夫卡主题

我有一个NiFi出站队列,配置了如下优先级:

  • 优先属性优先权
  • NewestFlowFileFirstPrioritizer
  • 在最小的测试环境中,我可以模拟网络中断,当重新连接时,我可以观察到,最新的高值记录将首先发布,较旧的高优先级数据随后将被重新填充,然后是中等优先级,然后是低优先级,这就是我想要的后进先出行为

    当我将系统扩展到包含一个非常大的出站队列时,我遇到了一种不同的行为:在网络中断后,我看到的不是最新的数据,即重新连接网线时生成的数据,而是拔掉网线后几秒钟的数据

    数据似乎是分批发布的,在连接电缆后的一段时间内,将所有高、中、低数据组合在一起,然后根据优先级进行回填,然后再向前跳,该过程将重复,直到数据与发布的当前数据同步

    这是预期的行为吗?我本以为在重新连接此配置后,将首先发布最高优先级的最新数据。我错过什么了吗