Performance 卡夫卡KStream到KStream加入|重新启动性能
我计划在长达1周的时间内将两个主题合并为KStreams。假设此窗口中累积了数亿条记录，加入的使用者需要多长时间才能重新启动？我问这个问题是因为我找不到有关窗口中有多少记录存储在消费者缓存中的信息。默认情况下，缓冲在窗口中的数据存储在RocksDB（即本地磁盘）中。因此，在同一台机器上重新启动时，不需要重新加载任何内容，因为数据已经可用Performance 卡夫卡KStream到KStream加入|重新启动性能,performance,caching,apache-kafka,apache-kafka-streams,kafka-join,Performance,Caching,Apache Kafka,Apache Kafka Streams,Kafka Join,我计划在长达1周的时间内将两个主题合并为KStreams。假设此窗口中累积了数亿条记录，加入的使用者需要多长时间才能重新启动？我问这个问题是因为我找不到有关窗口中有多少记录存储在消费者缓存中的信息。默认情况下，缓冲在窗口中的数据存储在RocksDB（即本地磁盘）中。因此，在同一台机器上重新启动时，不需要重新加载任何内容，因为数据已经可用 如果在另一台计算机上重新启动，则需要从备份存储的Kafka主题中重新读取存储的全部内容，以保证容错性。这需要多长时间取决于许多因素，很难估计。您可以注册还原回调
如果在另一台计算机上重新启动，则需要从备份存储的Kafka主题中重新读取存储的全部内容，以保证容错性。这需要多长时间取决于许多因素，很难估计。您可以注册还原回调来监视还原过程。这应该给你一些方法来运行一些实验，以了解可能需要多长时间。如果分配了不同的分区，是否所有Kafka主题分区的数据都存储在本地？只有来自分配分区的数据才存储在本地。如果一个分区被移开，本地存储将在一个可配置的默认时间大约为10分钟后被删除