Google cloud platform Apache梁滑动窗口
假设我有一个每1分钟开始的2小时窗口。 下一步是应用GroupBy转换 它是否在内存中分别保存每个窗口的重叠数据副本?或者Apache Beam有逻辑知道记录a属于多个窗口Google cloud platform Apache梁滑动窗口,google-cloud-platform,apache-beam,Google Cloud Platform,Apache Beam,假设我有一个每1分钟开始的2小时窗口。 下一步是应用GroupBy转换 它是否在内存中分别保存每个窗口的重叠数据副本?或者Apache Beam有逻辑知道记录a属于多个窗口 如果能解释这一点,我将不胜感激。无法真正找到相关信息这是管道作者不应观察(或观察)的实现细节。Beam/runner可能决定融合多个变换,并在内存中保留和重用元素。或者不是 我不知道是否涵盖了这个特定的主题,但是在文章的结尾,关于元素的不变性,我只说了几句。并对梁执行模型进行了总体描述
如果能解释这一点,我将不胜感激。无法真正找到相关信息这是管道作者不应观察(或观察)的实现细节。Beam/runner可能决定融合多个变换,并在内存中保留和重用元素。或者不是 我不知道是否涵盖了这个特定的主题,但是在文章的结尾,关于元素的不变性,我只说了几句。并对梁执行模型进行了总体描述