Apache nifi NiFi如何处理突发数据?

Apache nifi NiFi如何处理突发数据?,apache-nifi,Apache Nifi,如果提交给NiFi的数据不是稳定的(而是突发的),NiFi如何处理这些数据?它是否使用消息代理来缓冲它们?NiFi连接(处理器之间的链接)具有缓冲流文件的能力(NiFi处理的数据单位,基本上是内容+关于该内容的元数据),NiFi还具有背压的特性,即处理器“告诉”的能力上游流在特定时间无法处理更多数据。用户指南中的相关讨论如下所示 基本上,您可以将连接设置为您预期的“宽”,或者如果这不谨慎,您可以将其设置为更合适的值,NiFi将采用某种“带通知的漏桶”方法,在该方法中,它将处理它可以处理的数据,该

如果提交给NiFi的数据不是稳定的(而是突发的),NiFi如何处理这些数据?它是否使用消息代理来缓冲它们?NiFi连接(处理器之间的链接)具有缓冲流文件的能力(NiFi处理的数据单位,基本上是内容+关于该内容的元数据),NiFi还具有背压的特性,即处理器“告诉”的能力上游流在特定时间无法处理更多数据。用户指南中的相关讨论如下所示

基本上,您可以将连接设置为您预期的“宽”,或者如果这不谨慎,您可以将其设置为更合适的值,NiFi将采用某种“带通知的漏桶”方法,在该方法中,它将处理它可以处理的数据,该框架将根据上游处理器是否能够完成任务来处理它们的调度

如果您从没有缓冲数据的源系统获取数据,那么在应用背压时,您可能会遭受数据丢失;然而,这是因为当NiFi不能谨慎地接受数据时,源系统必须推送数据,因此应该对源系统与NiFi流进行更改。

NiFi连接(处理器之间的链接)具有缓冲流文件的能力(NiFi处理的数据单位,基本上是内容+关于该内容的元数据),NiFi还具有背压特性,处理器能够“告诉”上游流在特定时间无法处理更多数据。用户指南中的相关讨论如下

基本上,您可以将连接设置为您预期的“宽”,或者如果这不谨慎,您可以将其设置为更合适的值,NiFi将执行某种“带通知的漏桶”方法,它将处理它可以处理的数据,框架将根据上游处理器是否能够完成其工作来处理它们的调度

如果您从不缓冲数据的源系统获取数据,则在施加背压时可能会丢失数据;然而,这是因为当NiFi不能谨慎地接受数据时,源系统必须推送数据,因此,应针对NiFi流对源系统进行更改