Apache spark 使用spark stream时窗口有多大?

Apache spark 使用spark stream时窗口有多大?,apache-spark,Apache Spark,我们需要计算一些流数据,并考虑使用spark stream进行计算 我们需要生成三种类型的报告。这些报告是基于 最后5分钟的数据 最近1小时的数据 最近24小时的数据 报告的频率为5分钟 阅读文档后,最明显的解决方法似乎是设置一个火花流,间隔5分钟,两个窗口分别为1小时和1天 但我担心的是,如果窗户太大,一天一小时都不能打开。我在spark stream方面没有太多经验,那么在您的环境中窗口的长度是多少

我们需要计算一些流数据,并考虑使用spark stream进行计算

我们需要生成三种类型的报告。这些报告是基于

  • 最后5分钟的数据
  • 最近1小时的数据
  • 最近24小时的数据
  • 报告的频率为5分钟

    阅读文档后,最明显的解决方法似乎是设置一个火花流,间隔5分钟,两个窗口分别为1小时和1天

    但我担心的是,如果窗户太大,一天一小时都不能打开。我在spark stream方面没有太多经验,那么在您的环境中窗口的长度是多少