Hadoop Apache Flink-跟踪最大
假设我有一个由元组Hadoop Apache Flink-跟踪最大,hadoop,apache-flink,Hadoop,Apache Flink,假设我有一个由元组(t,q)组成的数据流,其中t是感兴趣的变量 是否有一种分布式方法来跟踪最大t的元组?当t高于全局最大值时才发射?您考虑过Flink的状态特征吗?() 我自己对Flink很陌生,但我认为它提供了您想要的功能。您考虑过Flink的状态功能吗?() 我自己对Flink很陌生,但我认为它提供了您想要的功能。谢谢!是的,但我考虑过分享国家。这意味着,如果该州变得越来越大,将产生大量的网络流量来维持该州。我现在正在研究coGroup,可能有这样的可能性吗?据我所知,状态始终是TaskMa
(t,q)
组成的数据流,其中t
是感兴趣的变量
是否有一种分布式方法来跟踪最大
t
的元组?当t
高于全局最大值时才发射?您考虑过Flink的状态特征吗?()
我自己对Flink很陌生,但我认为它提供了您想要的功能。您考虑过Flink的状态功能吗?()
我自己对Flink很陌生,但我认为它提供了您想要的功能。谢谢!是的,但我考虑过分享国家。这意味着,如果该州变得越来越大,将产生大量的网络流量来维持该州。我现在正在研究
coGroup
,可能有这样的可能性吗?据我所知,状态始终是TaskManager的本地状态。但是,如果为流设置密钥,则流中具有相同密钥的部分始终会到达相同的TaskManager。但我认为这并不是你想要/可以用你的数据做的!?不,很遗憾,我必须加入/合并它们,因此我需要为此维护一个全局状态(这将是无效的)。谢谢!是的,但我考虑过分享国家。这意味着,如果该州变得越来越大,将产生大量的网络流量来维持该州。我现在正在研究coGroup
,可能有这样的可能性吗?据我所知,状态始终是TaskManager的本地状态。但是,如果为流设置密钥,则流中具有相同密钥的部分始终会到达相同的TaskManager。但我认为这并不是你想要/可以用你的数据做的!?不,很遗憾,我必须加入/合并它们,因此我需要为此维护一个全局状态(这将是无效的)。