Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java Storm Trident中的批量大小_Java_Hadoop_Apache Storm_Trident - Fatal编程技术网

Java Storm Trident中的批量大小

Java Storm Trident中的批量大小,java,hadoop,apache-storm,trident,Java,Hadoop,Apache Storm,Trident,我想知道如何在TRIDENT中设置批次大小(例如,我希望一个批次有10000条记录)。 我的代码中有以下配置,每批从Kafka获取大约250条记录。我可以把这个增加到10000*1024吗?或者是否有一种方法可以设置每个批次的记录数 TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts, topic, consumerGroupId); tridentKafkaConfig.scheme = new Scheme

我想知道如何在TRIDENT中设置批次大小(例如,我希望一个批次有10000条记录)。 我的代码中有以下配置,每批从Kafka获取大约250条记录。我可以把这个增加到10000*1024吗?或者是否有一种方法可以设置每个批次的记录数

TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts, topic, consumerGroupId);
tridentKafkaConfig.scheme = new SchemeAsMultiScheme(new XScheme()); 
tridentKafkaConfig.fetchSizeBytes = 1024*1024;

您可以通过更改“TridentKafkanconfig.fetchSizeBytes”属性来增加批处理大小。此外,批量大小与代理数和分区数有关。例如,如果每个代理有2个代理和3个分区,则意味着分区总数为6。这样,批大小等于TridentKafkanconfig.fetchSizeBytes X总分区计数。如果我们假设TridentKafkanconfig.fetchSizeBytes为1024X1024,则批大小等于6MB(3x2x1024x1024)字节