Apache flink Flink异步流处理异常处理,以便将来某个时候重播消息 我们正在开发一个从Kinesis到Flink的流处理服务。 该服务将需要调用几个外部API来丰富数据流,因此在我们的示例中将使用异步/IO API 如果出现任何异常,我们希望将事件捕获到接收器,并有选择地将消息重放到Flink以重试 我们可以控制Kinesis,Kinesis允许在延长数据保留期的情况下重播长达7天的消息,但不能选择性地重播,我们希望保留更长的时间

Apache flink Flink异步流处理异常处理,以便将来某个时候重播消息 我们正在开发一个从Kinesis到Flink的流处理服务。 该服务将需要调用几个外部API来丰富数据流,因此在我们的示例中将使用异步/IO API 如果出现任何异常,我们希望将事件捕获到接收器,并有选择地将消息重放到Flink以重试 我们可以控制Kinesis,Kinesis允许在延长数据保留期的情况下重播长达7天的消息,但不能选择性地重播,我们希望保留更长的时间,apache-flink,flink-streaming,stream-processing,Apache Flink,Flink Streaming,Stream Processing,我们正在考虑将异常流的边输出和保存到单独的接收器。是否有一种机制可以用最少的人工将数据从接收器拉到动觉器?我们还没有决定用什么水槽。是否有更好的解决方案或建议?您是否有任何具体的重试次数或重试之间的等待时间?我们希望至少保留一个月的失败事件,并在一个月内的任何时间根据错误类型有选择地重播它们。是的,这似乎是异常流的一个很好的用例。我认为Flink确实有FlinkkinesProducer,它可以将数据从Flink提取到Kinesis。@Ryanyanyan您的问题有什么解决方案吗?

我们正在考虑将异常流的边输出和保存到单独的接收器。是否有一种机制可以用最少的人工将数据从接收器拉到动觉器?我们还没有决定用什么水槽。是否有更好的解决方案或建议?

您是否有任何具体的重试次数或重试之间的等待时间?我们希望至少保留一个月的失败事件,并在一个月内的任何时间根据错误类型有选择地重播它们。是的,这似乎是异常流的一个很好的用例。我认为Flink确实有
FlinkkinesProducer
,它可以将数据从Flink提取到Kinesis。@Ryanyanyan您的问题有什么解决方案吗?