Java ApacheFlink流限制

Java ApacheFlink流限制,java,apache-flink,flink-batch,Java,Apache Flink,Flink Batch,我有相当多的有界数据需要在从数据源获取后进行过滤(比如,由于复杂的过滤逻辑,我无法使用查询立即过滤)。我需要限制管道末端的最大数据量(以实现某种分页) 因此,我需要某种Java的Stream.limit(),以在所需的数据量累积之后停止从数据源获取行 在ApacheFlink中,最好的方法是什么?我正在查看计数器,但可能有更合适的API?我不确定“限制每个请求的最大数据量”是什么意思,如果您有一些提供数据的数据源,并且您实际上希望将其限制为最大记录数。@kkrugler我需要某种分页。我想在管道

我有相当多的有界数据需要在从数据源获取后进行过滤(比如,由于复杂的过滤逻辑,我无法使用查询立即过滤)。我需要限制管道末端的最大数据量(以实现某种分页)

因此,我需要某种Java的
Stream.limit()
,以在所需的数据量累积之后停止从数据源获取行


在ApacheFlink中,最好的方法是什么?我正在查看计数器,但可能有更合适的API?

我不确定“限制每个请求的最大数据量”是什么意思,如果您有一些提供数据的数据源,并且您实际上希望将其限制为最大记录数。@kkrugler我需要某种分页。我想在管道末尾有足够的数据进行处理后停止数据源生成记录。通常,“分页”意味着您可以再次启动数据源,并继续处理下一批记录。我想那不是你需要的,对吧?