Apache kafka 在卡夫卡主题中可以看到数据分区吗?

Apache kafka 在卡夫卡主题中可以看到数据分区吗?,apache-kafka,kafka-consumer-api,kafka-producer-api,Apache Kafka,Kafka Consumer Api,Kafka Producer Api,几天前我开始与卡夫卡合作。我在Windows环境中使用Kafka,我想查看Kafka主题的每个分区中的数据 我有一个名为ExampleTopic的主题,其中replication.factor设置为3和3个分区。我可以看到主题中的数据,但我想看到哪些消息将进入哪些分区 请告诉我是否可能,如果是,那么如何使用?使用,例如: 使用,例如: 您可以使用Kafka console使用者的--partition参数指定从哪个分区消费: bin\windows\kafka-console-consumer

几天前我开始与卡夫卡合作。我在Windows环境中使用Kafka,我想查看Kafka主题的每个分区中的数据

我有一个名为
ExampleTopic
的主题,其中
replication.factor
设置为3和3个分区。我可以看到主题中的数据,但我想看到哪些消息将进入哪些分区

请告诉我是否可能,如果是,那么如何使用?

使用,例如:

使用,例如:

您可以使用Kafka console使用者的
--partition
参数指定从哪个分区消费:

bin\windows\kafka-console-consumer.bat--引导服务器本地主机:9092--主题示例主题--分区0
您还可以指定一个指示从哪个偏移开始的
--offset
参数。如果不存在,则消耗从分区的末尾开始。

您可以使用Kafka console消耗程序的
--partition
参数指定从哪个分区消耗:

bin\windows\kafka-console-consumer.bat--引导服务器本地主机:9092--主题示例主题--分区0

您还可以指定一个指示从哪个偏移开始的
--offset
参数。如果没有,消耗从分区的末尾开始。

我有一个基于GUI的工具来查看名为kafka tool的主题的每个分区中的数据。
它是管理卡夫卡集群的工具。还提供了许多应该尝试的功能

我有一个基于GUI的工具来查看名为kafka tool的主题的每个分区中的数据。
它是管理卡夫卡集群的工具。还提供了许多应该尝试的功能

我不认为该工具适用于windows环境,或者我可能无法理解它。无论如何,谢谢你@拉曼米什拉:你能告诉我你是怎么想出来的吗。?表示如何查看哪些消息将进入哪些分区?有一个名为kafka tool的基于ui的工具,只需安装它并设置kafka群集,它将向您显示所有代理主题和分区,您可以在其中查看每个分区中的数据。如果你不知道如何设置,请给我发消息。好的。。感谢您的帮助如果您正在本地设置:cluserName:“任何您想要的”版本:“kafka版本”Bootstrapserver:“localhost:9092”sasl mechanish:plantext(如果您没有在群集上实现任何安全性),我认为该工具不适用于windows环境,或者可能我无法理解。无论如何,谢谢你@拉曼米什拉:你能告诉我你是怎么想出来的吗。?表示如何查看哪些消息将进入哪些分区?有一个名为kafka tool的基于ui的工具,只需安装它并设置kafka群集,它将向您显示所有代理主题和分区,您可以在其中查看每个分区中的数据。如果你不知道如何设置,请给我发消息。好的。。感谢您的帮助如果您在2.10上设置local:cluserName:“任何您想要的”版本:“kafka版本”Bootstrapserver:“localhost:9092”sasl mechanish:plantext(如果您在集群上没有实现任何安全性),则会出现一个错误,表示分区不是可识别的命令。在其他一些线程中,有人建议使用分区而不是分区,即使这不起作用。这个控制台使用者功能已经提供了一段时间,从最新版本(2.0.1)开始。您可以分享一下您是如何运行导致错误的命令的吗?:bin mam$./kafka-console-consumer.sh--引导服务器localhost:9092--主题我的主题--分区0上面是我尝试过的,我得到了“分区不可用”。在2.10上,出现了一个错误,表示分区不是可识别的命令。在其他一些线程中,有人建议使用分区而不是分区,即使这不起作用。这个控制台使用者功能已经提供了一段时间,从最新版本(2.0.1)开始。您可以分享一下您是如何运行导致错误的命令的吗?:bin mam$./kafka-console-consumer.sh--引导服务器localhost:9092--主题我的主题--分区0以上是我尝试过的,我得到了“分区不可用”。
$ kafkacat -b localhost:9092 -t my_topic -C \
-f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\
Timestamp: %T\tPartition: %p\tOffset: %o\n--\n'

Key (1 bytes): 1
Value (79 bytes): {"uid":1,"name":"Cliff","locale":"en_US","address_city":"St Louis","elite":"P"}
Timestamp: 1520618381093        Partition: 0    Offset: 0