Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cocoa/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡为消费者减少滞后_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 卡夫卡为消费者减少滞后

Apache kafka 卡夫卡为消费者减少滞后,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我正在设置新的Kafka群集,出于测试目的,我创建了一个带有1个分区和3个副本的主题 现在,我通过producer并行发送消息,比如说每秒发送50K条消息。我在一个组中创建了一个消费者,它每秒只能获取30000条消息 我可以更改主题级别、分区级别和使用者级别的配置 我通过格拉法纳+普罗米修斯监控一切 知道哪种配置或其他东西可以帮助我使用更多数据吗 提前感谢卡夫卡消费者会轮询代理以获取消息,并获取任何可供使用的消息,具体取决于所使用的消费者配置。通常,如果提高吞吐量是您的目标,那么在单个轮询请求中

我正在设置新的Kafka群集,出于测试目的,我创建了一个带有1个分区和3个副本的主题

现在,我通过producer并行发送消息,比如说每秒发送50K条消息。我在一个组中创建了一个消费者,它每秒只能获取30000条消息

我可以更改主题级别、分区级别和使用者级别的配置

我通过格拉法纳+普罗米修斯监控一切

知道哪种配置或其他东西可以帮助我使用更多数据吗


提前感谢

卡夫卡消费者会轮询代理以获取消息,并获取任何可供使用的消息,具体取决于所使用的消费者配置。通常,如果提高吞吐量是您的目标,那么在单个轮询请求中传输尽可能多的数据是有效的。但是,在一次轮询中传输多少数据取决于消息的大小、记录的数量和一些参数,这些参数控制等待消息可用的时间

通常,您可以使用以下一项或多项来影响吞吐量:

fetch.min.bytes

max.partition.fetch.bytes

fetch.max.bytes

max.poll.records


fetch.max.wait.ms

你看过卡夫卡指标了吗?可能是网络问题?你同意更改分区的配置吗?是的,我也可以更改分区级别的配置。