Apache kafka 卡夫卡为消费者减少滞后
我正在设置新的Kafka群集,出于测试目的,我创建了一个带有1个分区和3个副本的主题 现在,我通过producer并行发送消息,比如说每秒发送50K条消息。我在一个组中创建了一个消费者,它每秒只能获取30000条消息 我可以更改主题级别、分区级别和使用者级别的配置 我通过格拉法纳+普罗米修斯监控一切 知道哪种配置或其他东西可以帮助我使用更多数据吗Apache kafka 卡夫卡为消费者减少滞后,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我正在设置新的Kafka群集,出于测试目的,我创建了一个带有1个分区和3个副本的主题 现在,我通过producer并行发送消息,比如说每秒发送50K条消息。我在一个组中创建了一个消费者,它每秒只能获取30000条消息 我可以更改主题级别、分区级别和使用者级别的配置 我通过格拉法纳+普罗米修斯监控一切 知道哪种配置或其他东西可以帮助我使用更多数据吗 提前感谢卡夫卡消费者会轮询代理以获取消息,并获取任何可供使用的消息,具体取决于所使用的消费者配置。通常,如果提高吞吐量是您的目标,那么在单个轮询请求中
提前感谢卡夫卡消费者会轮询代理以获取消息,并获取任何可供使用的消息,具体取决于所使用的消费者配置。通常,如果提高吞吐量是您的目标,那么在单个轮询请求中传输尽可能多的数据是有效的。但是,在一次轮询中传输多少数据取决于消息的大小、记录的数量和一些参数,这些参数控制等待消息可用的时间 通常,您可以使用以下一项或多项来影响吞吐量:
fetch.min.bytes
max.partition.fetch.bytes
fetch.max.bytes
max.poll.records
fetch.max.wait.ms
你看过卡夫卡指标了吗?可能是网络问题?你同意更改分区的配置吗?是的,我也可以更改分区级别的配置。