Apache flink Flink流媒体窗口容量边界

Apache flink Flink流媒体窗口容量边界,apache-flink,flink-streaming,flink-cep,Apache Flink,Flink Streaming,Flink Cep,我是Flink流媒体的初学者。我正在以每秒5000次的速度处理事件,需要查看过去3天的事件窗口。我的问题是:Flink在哪里存储窗口数据?我会受到RAM大小的限制吗?以每秒5000字节和每个事件2000字节的速度,我正在考虑三天窗口的巨大存储需求。Flink提供了大量关于存储临时“三天窗口数据”(通常称为“窗口状态”)的选项。默认情况下,它存储在内存中(受JobManager内存的限制),但正如您所提到的,它可以根据窗口的大小快速增长。因此,弗林克支持储蓄 将状态复制(快照)到磁盘,这是一个称为

我是Flink流媒体的初学者。我正在以每秒5000次的速度处理事件,需要查看过去3天的事件窗口。我的问题是:Flink在哪里存储窗口数据?我会受到RAM大小的限制吗?以每秒5000字节和每个事件2000字节的速度,我正在考虑三天窗口的巨大存储需求。

Flink提供了大量关于存储临时“三天窗口数据”(通常称为“窗口状态”)的选项。默认情况下,它存储在内存中(受JobManager内存的限制),但正如您所提到的,它可以根据窗口的大小快速增长。因此,弗林克支持储蓄 将状态复制(快照)到磁盘,这是一个称为检查点的过程。要实现这一点,您应该配置一个状态后端,例如RocksDB

有关这方面的更多信息:

[1]

[2]

[3]