Apache kafka 在卡夫卡主题中可以看到数据分区吗?
几天前我开始与卡夫卡合作。我在Windows环境中使用Kafka,我想查看Kafka主题的每个分区中的数据 我有一个名为Apache kafka 在卡夫卡主题中可以看到数据分区吗?,apache-kafka,kafka-consumer-api,kafka-producer-api,Apache Kafka,Kafka Consumer Api,Kafka Producer Api,几天前我开始与卡夫卡合作。我在Windows环境中使用Kafka,我想查看Kafka主题的每个分区中的数据 我有一个名为ExampleTopic的主题,其中replication.factor设置为3和3个分区。我可以看到主题中的数据,但我想看到哪些消息将进入哪些分区 请告诉我是否可能,如果是,那么如何使用?使用,例如: 使用,例如: 您可以使用Kafka console使用者的--partition参数指定从哪个分区消费: bin\windows\kafka-console-consumer
ExampleTopic
的主题,其中replication.factor
设置为3和3个分区。我可以看到主题中的数据,但我想看到哪些消息将进入哪些分区
请告诉我是否可能,如果是,那么如何使用?使用,例如:
使用,例如:
您可以使用Kafka console使用者的--partition
参数指定从哪个分区消费:
bin\windows\kafka-console-consumer.bat--引导服务器本地主机:9092--主题示例主题--分区0
您还可以指定一个指示从哪个偏移开始的--offset
参数。如果不存在,则消耗从分区的末尾开始。您可以使用Kafka console消耗程序的--partition
参数指定从哪个分区消耗:
bin\windows\kafka-console-consumer.bat--引导服务器本地主机:9092--主题示例主题--分区0
您还可以指定一个指示从哪个偏移开始的
--offset
参数。如果没有,消耗从分区的末尾开始。我有一个基于GUI的工具来查看名为kafka tool的主题的每个分区中的数据。
它是管理卡夫卡集群的工具。还提供了许多应该尝试的功能 我有一个基于GUI的工具来查看名为kafka tool的主题的每个分区中的数据。
它是管理卡夫卡集群的工具。还提供了许多应该尝试的功能 我不认为该工具适用于windows环境,或者我可能无法理解它。无论如何,谢谢你@拉曼米什拉:你能告诉我你是怎么想出来的吗。?表示如何查看哪些消息将进入哪些分区?有一个名为kafka tool的基于ui的工具,只需安装它并设置kafka群集,它将向您显示所有代理主题和分区,您可以在其中查看每个分区中的数据。如果你不知道如何设置,请给我发消息。好的。。感谢您的帮助如果您正在本地设置:cluserName:“任何您想要的”版本:“kafka版本”Bootstrapserver:“localhost:9092”sasl mechanish:plantext(如果您没有在群集上实现任何安全性),我认为该工具不适用于windows环境,或者可能我无法理解。无论如何,谢谢你@拉曼米什拉:你能告诉我你是怎么想出来的吗。?表示如何查看哪些消息将进入哪些分区?有一个名为kafka tool的基于ui的工具,只需安装它并设置kafka群集,它将向您显示所有代理主题和分区,您可以在其中查看每个分区中的数据。如果你不知道如何设置,请给我发消息。好的。。感谢您的帮助如果您在2.10上设置local:cluserName:“任何您想要的”版本:“kafka版本”Bootstrapserver:“localhost:9092”sasl mechanish:plantext(如果您在集群上没有实现任何安全性),则会出现一个错误,表示分区不是可识别的命令。在其他一些线程中,有人建议使用分区而不是分区,即使这不起作用。这个控制台使用者功能已经提供了一段时间,从最新版本(2.0.1)开始。您可以分享一下您是如何运行导致错误的命令的吗?:bin mam$./kafka-console-consumer.sh--引导服务器localhost:9092--主题我的主题--分区0上面是我尝试过的,我得到了“分区不可用”。在2.10上,出现了一个错误,表示分区不是可识别的命令。在其他一些线程中,有人建议使用分区而不是分区,即使这不起作用。这个控制台使用者功能已经提供了一段时间,从最新版本(2.0.1)开始。您可以分享一下您是如何运行导致错误的命令的吗?:bin mam$./kafka-console-consumer.sh--引导服务器localhost:9092--主题我的主题--分区0以上是我尝试过的,我得到了“分区不可用”。
$ kafkacat -b localhost:9092 -t my_topic -C \
-f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\
Timestamp: %T\tPartition: %p\tOffset: %o\n--\n'
Key (1 bytes): 1
Value (79 bytes): {"uid":1,"name":"Cliff","locale":"en_US","address_city":"St Louis","elite":"P"}
Timestamp: 1520618381093 Partition: 0 Offset: 0