Apache flink ApacheFlink:定期加载函数的配置
比方说,有一个动态配置存储在数据库中,用于从流中过滤黑名单事件 过滤器功能使用此配置,需要在一段时间间隔(10分钟)后重新加载/刷新新配置 可以在每次窗口调用中调用一个函数来重新加载配置并重新分配配置变量 注意:由于窗口中的此函数调用独立于流的事件数据,因此在触发窗口之前,不希望在内存中缓冲/保留流事件Apache flink ApacheFlink:定期加载函数的配置,apache-flink,flink-streaming,Apache Flink,Flink Streaming,比方说,有一个动态配置存储在数据库中,用于从流中过滤黑名单事件 过滤器功能使用此配置,需要在一段时间间隔(10分钟)后重新加载/刷新新配置 可以在每次窗口调用中调用一个函数来重新加载配置并重新分配配置变量 注意:由于窗口中的此函数调用独立于流的事件数据,因此在触发窗口之前,不希望在内存中缓冲/保留流事件 有线索吗?您可以在窗口前面放一个ProcessFunction,让它进行过滤。我建议使用ProcessFunction,因为它可以有一个计时器,每10分钟触发一次,以触发配置数据的重新加载/刷新
有线索吗?您可以在窗口前面放一个ProcessFunction,让它进行过滤。我建议使用ProcessFunction,因为它可以有一个计时器,每10分钟触发一次,以触发配置数据的重新加载/刷新 这样,到达窗口的所有事件都将通过接收到每个事件时处于活动状态的液滴列表配置版本进行预过滤 您可以进一步利用流式传输,并在发生对droplist配置的更改时流式传输,而不是每10分钟轮询一次