Apache kafka 卡夫卡消费者在其中一个经纪人停机时不会收到数据

在RHEL v6.9上使用Kafka v2.1.0

当卡夫卡经纪人之一停机时，消费者无法接收数据

执行的步骤：
1.启动zookeeper
2.启动Kafka-Server0（本地主机：9092，kafkalogs1）
3.启动Kafka-Server1（本地主机：9094，kafkalog2）
4.创建主题“test1”，分区数=1，复制因子=2
5.为主题“test1”运行producer
6.运行消费者
7.从制作人处发送消息
8.在消费者端接收消息

上述所有步骤都顺利完成

当我关闭Kafka-Server0时，消费者停止从生产者获取数据。 当我调回Kafka-Server0时，消费者开始从它停止的地方获取消息

这些是使用的命令

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic test1

当我使用--bootstrap server选项中指定的两台服务器运行消费者时，行为是相同的（消费者端没有收到消息）

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9094 --topic test1

您知道为什么即使主题test1的复制系数设置为2，当服务器0关闭时消费者仍会停止接收消息吗

已经有一个类似的问题，但没有完全回答

---

如果“偏移”主题不可用，则无法消费

查看这些属性的

server.properties

文件，查看上面的注释，并相应增加（仅当主题不存在时适用）

根据，看起来它只有一个复制品

---

查看如何为现有主题设置偏移量。如果偏移量主题不可用，则无法使用

查看这些属性的

server.properties

文件，查看上面的注释，并相应增加（仅当主题不存在时适用）

根据，看起来它只有一个复制品

---

查看如何为现有主题提供帮助在卡夫卡的初始版本中，偏移量由zookeeper管理，但卡夫卡随着时间的推移不断发展，引入了许多新功能。现在，卡夫卡管理主题u消费者u偏移量中的偏移量

您可以想象这样一个场景，其中您创建了一个复制因子为1的主题。如果代理宕机，数据只在宕机的Kafka节点上。所以你不能得到这些数据。同样的类比也适用于消费者

---

您需要重新访问server.properties以获得所需的功能。但是，如果您仍然希望使用副本分区中的消息，您可能需要重新启动控制台使用者--从开始为true开始

在Kafka的初始版本中，zookeeper正在管理偏移量，但Kafka随着时间的推移不断发展，引入了许多新功能。现在，卡夫卡管理主题u消费者u偏移量中的偏移量

您可以想象这样一个场景，其中您创建了一个复制因子为1的主题。如果代理宕机，数据只在宕机的Kafka节点上。所以你不能得到这些数据。同样的类比也适用于消费者

---

您需要重新访问server.properties以获得所需的功能。但是，如果您仍要使用副本分区中的消息，您可能需要使用--from start true重新启动控制台使用者

使用者偏移主题的复制因子是什么？使用者偏移主题的复制因子是什么？感谢您的逻辑解释。server.properties没有帮助，因为卡夫卡已经自动创建了_消费者_偏移量主题。解决此问题的唯一方法是手动增加uu consumer_偏移量的复制因子，如下面提到的@cricket。同意，您必须手动增加它，因为主题已经创建。继续努力！！谢谢你的逻辑解释。server.properties没有帮助，因为卡夫卡已经自动创建了_消费者_偏移量主题。解决此问题的唯一方法是手动增加uu consumer_偏移量的复制因子，如下面提到的@cricket。同意，您必须手动增加它，因为主题已经创建。继续努力！！手动增加复制因子修复了此问题，谢谢！。手动过程有点麻烦，尤其是当您想要为50个分区创建JSON条目时。我想知道是否有一个简单的方法来做到这一点。酷。请随意使用帖子旁边的复选标记接受答案。Yelp和LinkedIn提供了一些工具，我认为它们已经通过编程生成了工具，可以根据某些因素生成和应用JSON。我没有现成的链接，尽管我更改了属性offset.topic.replication.factor并重新启动了zookeeper/kafka几次，但都没有成功。。。最后，我描述了主题“\uuuu consumer\u offset”，复制因子仅为1。。夜班守夜伙伴——否则我会彻夜寻找我的错误所在。@OneCricketeer-请您在这里指导我-手动增加复制因子修复了问题，谢谢！。手动过程有点麻烦，尤其是当您想要为50个分区创建JSON条目时。我想知道是否有一个简单的方法来做到这一点。酷。请随意使用帖子旁边的复选标记接受答案。Yelp和LinkedIn提供了一些工具，我认为它们已经通过编程生成了工具，可以根据某些因素生成和应用JSON。我没有现成的链接，尽管我更改了属性offset.topic.replication.factor并重新启动了zookeeper/kafka几次，但都没有成功。。。最后，我描述了主题“\uuuu consumer\u offset”，复制因子仅为1。。“守夜人，老兄——要不然我整晚都在寻找我的错误所在。”一位板球运动员说-

# The replication factor for the group metadata internal topics "__consumer_offsets" and "__transaction_state"
# For anything other than development testing, a value greater than 1 is recommended for to ensure availability such as 3.
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1