Apache flink 使用Flink处理过去10分钟内的卡夫卡信息?

Apache flink 使用Flink处理过去10分钟内的卡夫卡信息?,apache-flink,flink-streaming,flink-sql,Apache Flink,Flink Streaming,Flink Sql,我们正在考虑在过去5-10分钟内使用Flink SQL对实时卡夫卡数据进行特别分析。为了实现这一点,我们似乎需要扩展Kafka连接器,使其仅在给定的时间段内读取消息,并使用它生成有限的输入源 我想知道在这方面是否有其他办法。欢迎提供任何建议。Flink Kafka连接器以各种方式支持,包括myConsumer.setStartFromTimestamp。。。。卡夫卡表格连接器 如果您想使用Flink的SQL客户端,您可能需要编写一个瘦包装器,用于计算10分钟前的时间戳,并相应地设置起始卡夫卡偏移

我们正在考虑在过去5-10分钟内使用Flink SQL对实时卡夫卡数据进行特别分析。为了实现这一点,我们似乎需要扩展Kafka连接器,使其仅在给定的时间段内读取消息,并使用它生成有限的输入源


我想知道在这方面是否有其他办法。欢迎提供任何建议。

Flink Kafka连接器以各种方式支持,包括myConsumer.setStartFromTimestamp。。。。卡夫卡表格连接器


如果您想使用Flink的SQL客户端,您可能需要编写一个瘦包装器,用于计算10分钟前的时间戳,并相应地设置起始卡夫卡偏移量。

我想要的是让Flink在过去10分钟内只处理卡夫卡数据,然后停止。现在看来,只要卡夫卡收到新消息,提交的flink作业将永远运行。这是一个什么问题?对于即席分析,似乎您可以在看到足够的内容后简单地取消此项工作。上下文是,我们正在尝试构建一项服务,允许用户提交SQL查询并使用Flink对kafka实时数据进行即席分析。我们希望作业自动停止,而不是让用户取消作业。我们需要一个关于查询处理的数据的清晰协议。