Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 在特定的Kafka分区中消费和生成消息?_Apache Kafka_Apache Zookeeper_Kafka Consumer Api_Kafka Producer Api - Fatal编程技术网

Apache kafka 在特定的Kafka分区中消费和生成消息?

Apache kafka 在特定的Kafka分区中消费和生成消息?,apache-kafka,apache-zookeeper,kafka-consumer-api,kafka-producer-api,Apache Kafka,Apache Zookeeper,Kafka Consumer Api,Kafka Producer Api,要读取主题中的所有分区,请执行以下操作: ~bin/kafka-console-consumer.sh——zookeeper localhost:2181——主题myTopic——从头开始 如何使用主题的特定分区?(例如,使用分区键13) 以及如何在具有特定分区键的分区中生成消息?可能吗 您不能使用console consumer和producer。但您可以使用更高级别的客户端(使用任何适合您的语言) 例如,您可以使用assign方法手动分配要使用的特定主题分区() 您可以使用自定义的分区器覆盖

要读取主题中的所有分区,请执行以下操作:

~bin/kafka-console-consumer.sh——zookeeper localhost:2181——主题myTopic——从头开始

  • 如何使用主题的特定分区?(例如,使用分区键13)
  • 以及如何在具有特定分区键的分区中生成消息?可能吗

  • 您不能使用console consumer和producer。但您可以使用更高级别的客户端(使用任何适合您的语言)

  • 例如,您可以使用
    assign
    方法手动分配要使用的特定主题分区()
  • 您可以使用自定义的
    分区器
    覆盖分区逻辑,在这里您将手动决定如何对消息进行分区()

  • 对于许多可用的客户机,您可以像serejja所说的那样指定分区号

    还可以查看哪些使用了参与者,并为手动分区和偏移提供了多种模式

    如果你想在终端上做同样的事情,我建议使用卡夫卡。() 我在发展过程中的个人选择

    你可以这样做

    kafkacat-b localhost:9092-f'主题%t[%p],偏移量::%o,数据:%s键:%k\n'-t测试主题


    对于特定的分区,您只需要使用
    -p
    标志。

    控制台生产者和消费者不提供这种灵活性。您可以通过卡夫卡API实现这一点

  • 您可以使用assign()操作手动将分区分配给使用者。这将禁用组重新平衡。请小心使用

  • 您可以在KafkaProducer消息中指定分区详细信息。如果未指定,则按照分区器策略进行存储

  • 如何使用主题的特定分区?(例如 使用分区键(13)

    kafka控制台消费者

    --partition <Integer: partition>         The partition to consume from.         
                                               Consumption starts from the end of   
                                               the partition unless '--offset' is   
                                               specified.                           
    
    bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic test --partition 0 --from-beginning