Apache flink 当目标流由于UpdateShardCount处于更新状态时,Flink Kinesis生产者的行为

Apache flink 当目标流由于UpdateShardCount处于更新状态时,Flink Kinesis生产者的行为,apache-flink,flink-streaming,amazon-kinesis,Apache Flink,Flink Streaming,Amazon Kinesis,引用 如果出现故障或重新硬盘,数据将再次写入 运动,导致重复。这种行为通常被称为 “至少一次”语义 当目标kinesis流由于重新存储而处于更新状态时,如何确定要重播多少消息 在这种情况下,如何限制重播的消息数量 如果出现故障,将从最后一个成功的检查点重放数据。我想雷沙丁也是这样 要保持低重复数,您需要频繁检查点(可以低至100毫秒)。如果使用大(自定义)状态(如Flink UI中的检查点大小所示),则应使用增量检查点

引用

如果出现故障或重新硬盘,数据将再次写入 运动,导致重复。这种行为通常被称为 “至少一次”语义

  • 当目标kinesis流由于重新存储而处于更新状态时,如何确定要重播多少消息

  • 在这种情况下,如何限制重播的消息数量


  • 如果出现故障,将从最后一个成功的检查点重放数据。我想雷沙丁也是这样

    要保持低重复数,您需要频繁检查点(可以低至100毫秒)。如果使用大(自定义)状态(如Flink UI中的检查点大小所示),则应使用增量检查点