Java 8 如何处理FLINK中的超大窗口？_Java 8_Apache Flink_Flink Streaming_Flink Cep

Java 8 如何处理FLINK中的超大窗口？

java-8 apache-flink

Java 8 如何处理FLINK中的超大窗口？,java-8,apache-flink,flink-streaming,flink-cep,Java 8,Apache Flink,Flink Streaming,Flink Cep,现在我有一个要求，汇总某人在过去3个月的业务。然后将结果放入ML模型中得到异常考虑到系统的巨大流量，这是一个非常大的窗口如何处理这种情况？您可以对Flink使用批处理，因为您有一个数据集，但是，Flink是一个真正的流式引擎，这意味着批处理被视为流式处理的特例。另一种选择是使用Hadoop进行此类批处理。我将根据以下假设回答您的问题：数据以流方式传输，您需要在该流之上创建一个窗口，因为您的问题无法清楚地提供该细节话虽如此，您可以使用RocksDB状态后端创建如此大的窗口，因为该窗口不会存储

现在我有一个要求，汇总某人在过去3个月的业务。然后将结果放入ML模型中得到异常

考虑到系统的巨大流量，这是一个非常大的窗口

如何处理这种情况？

您可以对Flink使用批处理，因为您有一个数据集，但是，Flink是一个真正的流式引擎，这意味着批处理被视为流式处理的特例。另一种选择是使用Hadoop进行此类批处理。

我将根据以下假设回答您的问题：数据以流方式传输，您需要在该流之上创建一个窗口，因为您的问题无法清楚地提供该细节

话虽如此，您可以使用RocksDB状态后端创建如此大的窗口，因为该窗口不会存储在内存中，并且窗口大小限制仅取决于硬件的硬盘大小