Fatal编程技术网
  • apache-kafka/
  • Apache kafka KTable中的数据存储多长时间？

Apache kafka KTable中的数据存储多长时间？

apache-kafka

Apache kafka KTable中的数据存储多长时间？,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,作为参考，配置文件流更新存储在KTable对象中 此数据将在KTable对象中存储多长时间 假设我们运行应用程序的多个实例。不知怎的，一个实例崩溃了。属于该实例的KTable数据如何？是否将由另一个实例“恢复” 我正在考虑存储很少更新的数据的更新。因此，如果一个实例崩溃，而另一个实例将重新从头开始构建这些数据，那么它们可能再也无法获得这些数据。因为它们再也不会被流式传输了，或者说很简单，非常罕见。KTable有一个主题作为支持，因此它将决定其保留+清理策略是什么 如果清除策略是压缩的，则每个唯一

作为参考，配置文件流更新存储在KTable对象中

  • 此数据将在KTable对象中存储多长时间
  • 假设我们运行应用程序的多个实例。不知怎的，一个实例崩溃了。属于该实例的KTable数据如何？是否将由另一个实例“恢复”
    • 我正在考虑存储很少更新的数据的更新。因此，如果一个实例崩溃，而另一个实例将重新从头开始构建这些数据，那么它们可能再也无法获得这些数据。因为它们再也不会被流式传输了，或者说很简单，非常罕见。

    KTable有一个主题作为支持，因此它将决定其保留+清理策略是什么

    如果清除策略是压缩的，则每个唯一密钥将“永久”存储，或者直到代理耗尽空间，以较早者为准

    如果您运行多个实例，那么每个KTable将保留它所使用的分区中的一个子集数据，每个表将不包含所有数据

    如果任何实例崩溃，它将需要从其changelog主题的开头读取所有数据，但您可以配置备用副本以应对该场景

    更多信息请访问

    KTable有一个主题支持，因此它将确定其保留+清理策略

    如果清除策略是压缩的，则每个唯一密钥将“永久”存储，或者直到代理耗尽空间，以较早者为准

    如果您运行多个实例，那么每个KTable将保留它所使用的分区中的一个子集数据，每个表将不包含所有数据

    如果任何实例崩溃，它将需要从其changelog主题的开头读取所有数据，但您可以配置备用副本以应对该场景

    更多信息请访问