Python 单节点多代理配置上的kafka使用者

是否有人在kafka python上使用单节点多代理设置

我能够使用单节点单代理设置生成和使用数据，但当我将其更改为单节点时，多代理数据被生成并存储在主题中，但当我运行消费代码时，数据未被使用

如对上述问题有任何建议，将不胜感激。提前谢谢

注意：所有配置（如生产者、消费者和服务器属性）都经过了验证，都没有问题

生产商代码：

from kafka.producer import KafkaProducer

def producer():
    data = {'desc' : 'testing', 'data' : 'testing single node multi broker'}
    topic = 'INTERNAL' 
    producer = KafkaProducer(value_serializer=lambda v:json.dumps(v).encode('utf-8'), bootstrap_servers=["localhost:9092","localhost:9093","localhost:9094"])

    producer.send(topic, data)

    producer.flush()

消费者代码：

from kafka.consumer import KafkaConsumer

def consumer():  
    topic = 'INTERNAL'
    consumer = KafkaConsumer(topic,bootstrap_servers=["localhost:9092","localhost:9093","localhost:9094"])


    for data in consumer:
        print data

服务器1配置：我又添加了两个这样的服务器文件，它们的参数与其他代理相同，但在

broker.id

，

log.dirs

值上有所不同

broker.id=1
端口=9092
num.network.threads=3
log.dirs=/tmp/kafka-logs-1
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
delete.topic.enable=true

生产者配置：

metadata.broker.list=localhost:9092、localhost:9093、localhost:9094

消费者配置：

zookeeper.connect=127.0.0.1:2181
zookeeper.connection.timeout.ms=6000

您是否通过一个简单的卡夫卡消费者接收信息

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092,localhost:9093,localhost:9094 –topic INTERNAL –from-beginning

或者用这个：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic INTERNAL

---

如果使用第二个命令获得消息，请尝试删除代理的

/tmp/log.dir

，并在

/tmp/zookepker/version-2/

中删除日志文件。然后重新启动zookeeper和您的代理并再次创建您的主题。

您是否通过一个简单的卡夫卡消费者收到这些消息

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092,localhost:9093,localhost:9094 –topic INTERNAL –from-beginning

或者用这个：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic INTERNAL

---

---

如果使用第二个命令获得消息，请尝试删除代理的

/tmp/log.dir

，并在

/tmp/zookepker/version-2/

中删除日志文件。然后重新启动zookeeper和您的代理并再次创建您的主题。

您可以发布您的代理配置和python脚本吗？否则我们无法帮助您。您好Shizhz，详细信息已按要求更新。我重新格式化了您的配置信息，请您检查一下，以防我出错

，我已为其他代理添加了两个类似的服务器文件，它们的参数相同，但broker.id、log.dirs值不同

，您是否更改了端口？以及如何启动您的代理？请发布您的代理配置和python脚本好吗？否则我们无法帮助您。您好Shizhz，详细信息已按要求更新。我重新格式化了您的配置信息，请您检查一下，以防我出错

，我已为其他代理添加了两个类似的服务器文件，它们的参数相同，但broker.id、log.dirs值不同

，你换了港口吗？你是怎么开始你的经纪人的？工作得很有魅力。！非常感谢你。但是，我想配置3节点3分区3副本群集。请您就设置集群的理想配置和规格提供建议。同时，我也会浏览API文档。很好，你能接受我的回答吗？为了让我得到一些观点：）对于你的问题，你可以发表另一篇文章。这不是一个容易的问题，我也不是专家，我是。我已完全删除zookeeper文件夹并进行了测试。你的建议也应该有效，因为我没有任何其他与卡夫卡有关的数据，我只是这么做了。非常有效。！非常感谢你。但是，我想配置3节点3分区3副本群集。请您就设置集群的理想配置和规格提供建议。同时，我也会浏览API文档。很好，你能接受我的回答吗？为了让我得到一些观点：）对于你的问题，你可以发表另一篇文章。这不是一个容易的问题，我也不是专家，我是。我已完全删除zookeeper文件夹并进行了测试。你的建议也应该有效，因为我没有任何其他与卡夫卡有关的数据，我只是这么做的。