Apache kafka 使用Kafka-consumer-perf-test.sh在卡夫卡中进行性能测试失败

Apache kafka 使用Kafka-consumer-perf-test.sh在卡夫卡中进行性能测试失败,apache-kafka,performance-testing,Apache Kafka,Performance Testing,试图使用Kafka consumer perf test.sh在Kafka中进行性能测试,但始终会出现以下错误: 警告:在使用预期数量的邮件之前退出: 超过超时时间(100000毫秒)。您可以使用--timeout选项 增加超时时间 我的命令: ./kafka-consumer-perf-test.sh --topic perf_test --broker-list $myhost:9092 --messages 10000000 --threads 2 --print-metrics --sh

试图使用
Kafka consumer perf test.sh在Kafka中进行性能测试,但始终会出现以下错误:

警告:在使用预期数量的邮件之前退出: 超过超时时间(100000毫秒)。您可以使用--timeout选项 增加超时时间

我的命令:

./kafka-consumer-perf-test.sh --topic perf_test --broker-list $myhost:9092 --messages 10000000 --threads 2 --print-metrics --show-detailed-stats

为避免此类警告,在运行此命令之前,您必须至少向该主题发送10000000条消息。

原因可能有二:

  • 由于过载,您的Kafka实例无法在100秒内使用2个线程消耗10000000条消息。你可以考虑:

    • 看看引擎盖下面发生了什么
    • 增加读卡器线程的数量
    • 增加超时
  • 您尝试阅读的主题中没有消息,并且读者尝试使用预期数量的消息,但在1分40秒后失败/退出

  • 您可能还对使用专用的负载测试工具感兴趣,即开箱即用,它不支持Kafka负载测试,但可以通过插件启用。查看文章了解详细信息


    使用负载测试工具,您将提供更多信息,您将能够看到性能指标允许将不断增加的负载与主题队列或代理资源消耗中不断增加的消息数量相关联

    您是否生成了指向此主题的消息?我已经生成了指向此主题的消息。我已经生成了10000000条消息。我运行了生产者性能测试,而不是消费者性能测试