Apache kafka 卡夫卡-主题与主题；分区及；消费者

只是想正确理解基本知识

假设我有一个名为“myTopic”的主题，它有3个分区P0、P1和P2。 这些分区中的每一个都有一个前导，此主题的数据（消息）分布在这些分区中

1。Producer将始终根据代理上的负载以循环方式向分区的负责人写入数据。是这样吗？

2。制作人如何知道分区的负责人？

3。阅读特定主题的消费者是否应该阅读该主题的所有分区？对吗？

谢谢你的帮助

Producer将始终根据代理上的负载以循环方式向分区的负责人写入数据。是这样吗

默认情况下，是的

也就是说，生产者还可以决定使用自定义分区方案，即分区数据写入的不同策略

制作人如何知道分区的负责人

通过卡夫卡协议

阅读特定主题的消费者是否应该阅读该主题的所有分区？对吗

默认情况下，是的

也就是说，您还可以实现例如实现自定义逻辑的使用者应用程序，例如仅从N个分区中的1个分区读取数据的“采样”使用者

生产者将始终向分区的领导者写入

是的，总是这样

以基于代理上的负载的循环方式

否。如果在ProducerRecord上显式设置了分区，则使用该分区。否则，如果提供了自定义分区器实现，则会确定分区。否则，如果msg键不为null，则该键的哈希将用于一致地将具有相同键的msg发送到同一分区。如果msg键为null，那么msg将以循环方式发送到任何分区。但是，这与代理上的负载无关

制作人如何知道分区的负责人

通过定期向代理请求元数据

阅读特定主题的消费者是否应该阅读该主题的所有分区？对吗

---

消费者形成消费群体。如果一个使用者组中有多个使用者实例，则每个使用者实例都使用分区的子集。但是消费者组作为一个整体从所有分区中消费。也就是说，除非你决定去“低层次”并自己管理，你可以这样做

因此，实际上有一种非常特殊的方式来表达“感谢你的帮助”——接受和/或投票表决有用的答案（这会占用受访者宝贵的时间…）