Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/323.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在ApacheKafka中设置多个分区_Java_Apache Kafka_Apache Zookeeper_Producer Consumer - Fatal编程技术网

Java 在ApacheKafka中设置多个分区

Java 在ApacheKafka中设置多个分区,java,apache-kafka,apache-zookeeper,producer-consumer,Java,Apache Kafka,Apache Zookeeper,Producer Consumer,我试图从代码中将分区数设置为2,我有单节点设置(1个zookeeper,1个Afka)。当我使用消息时,我看到kafka只使用一个分区来存储数据,我是否需要对设置进行任何修改以拥有多个分区 private void setupZookeeper(String[] topicList){ ZkClient zkClient = null; ZkUtils zkUtils = null; try { String[] zookeeperHosts = {"

我试图从代码中将分区数设置为2,我有单节点设置(1个zookeeper,1个Afka)。当我使用消息时,我看到kafka只使用一个分区来存储数据,我是否需要对设置进行任何修改以拥有多个分区

 private void setupZookeeper(String[] topicList){

    ZkClient zkClient = null;
    ZkUtils zkUtils = null;
    try {
        String[] zookeeperHosts = {"localhost:2181"}; // If multiple zookeeper then -> String zookeeperHosts = "192.168.20.1:2181,192.168.20.2:2181";
        int sessionTimeOutInMs = 15 * 1000; // 15 secs
        int connectionTimeOutInMs = 10 * 1000; // 10 secs
        //String topicName = "testTopic";
        int noOfPartitions = 2;
        int noOfReplication = 1;

        for(String zookeeper:zookeeperHosts){

            zkClient = new ZkClient(zookeeper, sessionTimeOutInMs, connectionTimeOutInMs, ZKStringSerializer$.MODULE$);
            zkUtils = new ZkUtils(zkClient, new ZkConnection(zookeeper), false);
            for(String topicName: topicList){
                System.out.println("Setting no of partitions ="+noOfPartitions + "for topic" + topicName);
                AdminUtils.createTopic(zkUtils, topicName, noOfPartitions, noOfReplication, 
                         producerConfig(),RackAwareMode.Disabled$.MODULE$);
            }
        }



    } catch (Exception ex) {
        ex.printStackTrace();
    } finally {
        if (zkClient != null) {
            zkClient.close();
        }
    }
我的producerConfig如下所示:

private Properties producerConfig() {
   Properties props = new Properties();
  props.put("bootstrap.servers", "localhost:9092");

  props.put("acks", "all");
  //props.put("retries", 0);
  props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
  props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

return props;
}
当我使用这个消息时,我看到卡夫卡只使用了一个 分区来存储数据

默认的消息分区策略如下,“仅使用了一个分区”可能是由恒定的消息键、计算的相同哈希值和路由到仅一个分区引起的

  • 如果在记录中指定了分区,请使用它
  • 如果未指定分区但存在密钥,则根据密钥的哈希值选择分区
  • 如果没有分区或键,则以循环方式选择分区

当我使用这个消息时,我看到卡夫卡只使用了一个 分区来存储数据

默认的消息分区策略如下,“仅使用了一个分区”可能是由恒定的消息键、计算的相同哈希值和路由到仅一个分区引起的

  • 如果在记录中指定了分区,请使用它
  • 如果未指定分区但存在密钥,则根据密钥的哈希值选择分区
  • 如果没有分区或键,则以循环方式选择分区