Java 如何在kafka中实现多生产者和多消费者

我是新来卡夫卡，我有要求，就像我有很多服务器，产生大量的日志，我想创建多个生产者和消费者

我已经为单个生产者和消费者实现了，请任何人帮助我了解我将如何创建多个生产者和消费者

这是我的生产者和消费者代码

制作人：-

public class MessageProducerExample {

    public static void main(String[] args) {

        System.out.println("Hello World");


         Properties props = new Properties();
         props.put("bootstrap.servers", "localhost:9092");
         props.put("acks", "all");
         props.put("retries", 0);
         props.put("batch.size", 16384);
         props.put("linger.ms", 1);
         props.put("buffer.memory", 33554432);
         props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

         Producer<String, String> producer = new KafkaProducer<String, String>(props);
         for(int i = 0; i < 100; i++)
             producer.send(new ProducerRecord<String, String>("test", "Msg"+Integer.toString(i),"Msg"+Integer.toString(i)));

         producer.close();

    }
}

public class MessageConsumerExample {

    public static void main(String[] args) {

        String topicName = args[0];


         Properties props = new Properties();
         props.put("bootstrap.servers", "localhost:9092");
         props.put("group.id", "test-consumer-group");
         props.put("enable.auto.commit", "true");
         props.put("auto.commit.interval.ms", "1000");
         props.put("session.timeout.ms", "30000");
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("auto.offset.reset","earliest");

         System.out.println("TopicName="+topicName);

         KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
         consumer.subscribe(Arrays.asList(topicName));

         while (true) {
             ConsumerRecords<String, String> records = consumer.poll(100);
             System.out.println("records"+records.count());
             for (ConsumerRecord<String, String> record : records)
                 //System.out.println("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
                 System.out.println("RECORD_OFFSET"+record.offset()+"RECORD_KEY" +record.key()+"RECORD_VALUE "+record.value());
         }
        }
}

public类MessageProducerExample{
公共静态void main（字符串[]args）{
System.out.println（“你好世界”）；
Properties props=新属性（）；
put（“bootstrap.servers”，“localhost:9092”）；
道具放置（“阿克斯”、“全部”）；
道具放置（“重试”，0）；
道具放置（“批量大小”，16384）；
道具放置（“玲儿小姐”，1）；
props.put（“buffer.memory”，33554432）；
put（“key.serializer”、“org.apache.kafka.common.serialization.StringSerializer”）；
put（“value.serializer”、“org.apache.kafka.common.serialization.StringSerializer”）；
制作人=新卡夫卡制作人（道具）；
对于（int i=0；i<100；i++）
producer.send（新ProducerRecord（“test”，“Msg”+Integer.toString（i），“Msg”+Integer.toString（i）））；
producer.close（）；
}
}

消费者：-

public class MessageProducerExample {

    public static void main(String[] args) {

        System.out.println("Hello World");


         Properties props = new Properties();
         props.put("bootstrap.servers", "localhost:9092");
         props.put("acks", "all");
         props.put("retries", 0);
         props.put("batch.size", 16384);
         props.put("linger.ms", 1);
         props.put("buffer.memory", 33554432);
         props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

         Producer<String, String> producer = new KafkaProducer<String, String>(props);
         for(int i = 0; i < 100; i++)
             producer.send(new ProducerRecord<String, String>("test", "Msg"+Integer.toString(i),"Msg"+Integer.toString(i)));

         producer.close();

    }
}

public class MessageConsumerExample {

    public static void main(String[] args) {

        String topicName = args[0];


         Properties props = new Properties();
         props.put("bootstrap.servers", "localhost:9092");
         props.put("group.id", "test-consumer-group");
         props.put("enable.auto.commit", "true");
         props.put("auto.commit.interval.ms", "1000");
         props.put("session.timeout.ms", "30000");
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("auto.offset.reset","earliest");

         System.out.println("TopicName="+topicName);

         KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
         consumer.subscribe(Arrays.asList(topicName));

         while (true) {
             ConsumerRecords<String, String> records = consumer.poll(100);
             System.out.println("records"+records.count());
             for (ConsumerRecord<String, String> record : records)
                 //System.out.println("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
                 System.out.println("RECORD_OFFSET"+record.offset()+"RECORD_KEY" +record.key()+"RECORD_VALUE "+record.value());
         }
        }
}

public类MessageConsumerExample{
公共静态void main（字符串[]args）{
字符串topicName=args[0]；
Properties props=新属性（）；
put（“bootstrap.servers”，“localhost:9092”）；
props.put（“group.id”，“测试消费者组”）；
props.put（“enable.auto.commit”、“true”）；
props.put（“auto.commit.interval.ms”，“1000”）；
props.put（“session.timeout.ms”，“30000”）；
put（“key.deserializer”、“org.apache.kafka.common.serialization.StringDeserializer”）；
put（“value.deserializer”、“org.apache.kafka.common.serialization.StringDeserializer”）；
道具放置（“自动偏移重置”、“最早”）；
System.out.println（“TopicName=“+TopicName”）；
卡夫卡消费者=新卡夫卡消费者（道具）；
consumer.subscribe（Arrays.asList（topicName））；
while（true）{
ConsumerRecords记录=consumer.poll（100）；
System.out.println（“records”+records.count（））；
对于（消费者记录：记录）
//System.out.println（“偏移量=%d，键=%s，值=%s”，record.offset（），record.key（），record.value（））；
System.out.println（“记录偏移量”+记录偏移量（）+“记录键”+记录键（）+“记录值”+记录值（））；
}
}
}

---

感谢高级版。

Kafka producer在异步模式下为每个代理使用iothread

对于使用者，您可以创建一个线程池，每个线程运行一个使用者实例。只需确保所有实例都具有相同的使用者组。以下是一些例子：