Apache kafka 卡夫卡在哪里存储内部主题的偏移量？

__消费者偏移量存储所有卡夫卡主题的偏移量，内部主题除外，例如流中的*-变更日志主题。这些数据存储在哪里？

术语“内部主题”在卡夫卡中有两种不同的含义：

代理：内部主题是集群使用的主题（如

\uu消费者偏移量

）。客户端无法读取/写入此主题

卡夫卡流：卡夫卡流自动创建的主题也被称为内部主题

但是，从Kafka Streams的角度来看，那些属于“内部”主题的

-changelog

和

-repartition

主题从代理的角度来看是常规主题。因此，这两个主题的偏移量都存储在

\uu consumer\u offset

中，就像其他主题一样

注意，Kafka Streams只会提交

-repartition

主题的偏移量。对于

-changelog

主题，从未提交任何偏移量（Kafka Streams在客户端执行一些偏移量跟踪，并将

-changelog

偏移量写入本地

.checkpoint

文件）。

术语“内部主题”在Kafka中有两种不同的含义：

代理：内部主题是集群使用的主题（如

\uu消费者偏移量

）。客户端无法读取/写入此主题

卡夫卡流：卡夫卡流自动创建的主题也被称为内部主题

但是，从Kafka Streams的角度来看，那些属于“内部”主题的

-changelog

和

-repartition

主题从代理的角度来看是常规主题。因此，这两个主题的偏移量都存储在

\uu consumer\u offset

中，就像其他主题一样

---

---

注意，Kafka Streams只会提交

-repartition

主题的偏移量。对于

-changelog

主题，从未提交任何偏移量（Kafka Streams在客户端执行一些偏移量跟踪，并将

-changelog

偏移量写入本地

.checkpoint

文件）。

我已经读取/使用了消费者偏移量，但没有发现与内部主题相关的信息。AFAIK，更改日志主题总是从头开始读取。没有维护的消费者群体information@cricket_007不，不是这样的。我们也可以从上次读取的偏移量中读取更改日志主题。当然，如果您不关心流的以前状态，那么您可以这样做。我已经读取/消耗了\uu消费者\u偏移量，但没有找到与内部主题相关的信息。好的，更改日志主题总是从一开始读取。没有维护的消费者群体information@cricket_007不，不是这样的。我们也可以从上次读取偏移量中读取更改日志主题。当然，若您不关心流的先前状态，那个么您会这样做的，谢谢。找到了文件。还有一件事，我们有没有办法控制这些内部变更日志主题的偏移量？如何确保从最早的偏移量读取？不应手动设置这些偏移量。Kafka Streams注意存储中的内容与检查点文件中的偏移量匹配（即，偏移量较小的所有数据都存储在存储中）。谢谢。当我手动删除.checkpoint文件时，我发现streams使用最新的偏移量重新创建了该文件，stream是如何收集偏移量数据的？它是否存储在rocks db数据文件夹中？我试图解决一个用例，我想重新播放changelog主题，以防我的rocksdb数据损坏。所以，我想从一开始就读取更改日志主题，而无需重新启动。如果在Kafka Streams运行时删除检查点文件，则If无关紧要。下次Kafka Streams提交时，它将使用主题的最新偏移量（它在内部跟踪这些偏移量）更新检查点文件。-因此，我想从一开始就读取更改日志主题，而无需重新启动。->这是不可能的。

基本上，即使在存在粘性分配策略之后，分区也不会粘附到它们的实例上

。为什么？Kafka Streams自第一次发布以来一直试图以粘性的方式分配任务<代码>它可能会造成这样一种情况：所有实例都有对应于所有分区的数据。->每个实例在可配置的清理间隔后删除旧状态。因此，这不应该发生。谢谢。找到了文件。还有一件事，我们有没有办法控制这些内部变更日志主题的偏移量？如何确保从最早的偏移量读取？不应手动设置这些偏移量。Kafka Streams注意存储中的内容与检查点文件中的偏移量匹配（即，偏移量较小的所有数据都存储在存储中）。谢谢。当我手动删除.checkpoint文件时，我发现streams使用最新的偏移量重新创建了该文件，stream是如何收集偏移量数据的？它是否存储在rocks db数据文件夹中？我试图解决一个用例，我想重新播放changelog主题，以防我的rocksdb数据损坏。所以，我想从一开始就读取更改日志主题，而无需重新启动。如果在Kafka Streams运行时删除检查点文件，则If无关紧要。下次Kafka Streams提交时，它将使用主题的最新偏移量（它在内部跟踪这些偏移量）更新检查点文件。-因此，我想从一开始就读取更改日志主题，而无需重新启动。->这是不可能的。

基本上，即使在存在粘性分配策略之后，分区也不会粘附到它们的实例上

。为什么？Kafka Streams自第一次发布以来一直试图以粘性的方式分配任务<代码>它可能会造成这样一种情况：所有实例都有对应于所有分区的数据。->每个实例在可配置的清理间隔后删除旧状态。因此，这不应该发生。