Apache kafka 卡夫卡的性能测试

Apache kafka 卡夫卡的性能测试,apache-kafka,performance-testing,Apache Kafka,Performance Testing,有人能解释一下卡夫卡是如何使用 bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \ --zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \ --messages 15000000 \ --threads 1 及 我不清楚什么是参数,应该获得什么样的输出。如何检查我是否向Kafka主题发送了1000条消息、其性能和确认信息。我建议使用专门的性能测试工具,如和,

有人能解释一下卡夫卡是如何使用

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1


我不清楚什么是参数,应该获得什么样的输出。如何检查我是否向Kafka主题发送了1000条消息、其性能和确认信息。

我建议使用专门的性能测试工具,如和,以加载测试您的Kafka安装

通过这种方式,您将能够完全控制线程、启动时间、消息大小和内容等,从而进行加载。您还将能够生成具有有趣指标的表和图表


如有需要,请参阅文章以了解更多详细信息。

我建议使用专门的性能测试工具,如和,以便对Kafka安装进行负载测试

通过这种方式,您将能够完全控制线程、启动时间、消息大小和内容等,从而进行加载。您还将能够生成具有有趣指标的表和图表


如有需要,请参阅文章以了解更多详细信息。

当我们运行此程序时,会得到以下信息:

制作人

  | start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |
在哪里,

•total.data.sent.in.MB以MB为单位显示发送到群集的总数据

•MB.sec表示每秒传输的数据量,单位为MB(吞吐量取决于大小)

•total.data.sent.in.nMsg将显示测试期间发送的消息总数

•last nMsg.sec显示每秒发送的消息数(根据消息计数的吞吐量)

消费者

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667
在哪里,

•start.time、end.time将显示测试开始和完成的时间

•fetch.size**显示单个请求中要获取的数据量

•data.consumered.in.MB****显示所有已消费邮件的大小

•***MB.sec*表示每秒传输的数据量,单位为MB(吞吐量取决于大小)

•data.consumered.in.nMsg将显示测试期间消耗的消息总数


•last nMsg.sec显示每秒消耗的消息数(消息计数的吞吐量)。

当我们运行此程序时,我们得到以下结果:

制作人

  | start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |
在哪里,

•total.data.sent.in.MB以MB为单位显示发送到群集的总数据

•MB.sec表示每秒传输的数据量,单位为MB(吞吐量取决于大小)

•total.data.sent.in.nMsg将显示测试期间发送的消息总数

•last nMsg.sec显示每秒发送的消息数(根据消息计数的吞吐量)

消费者

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667
在哪里,

•start.time、end.time将显示测试开始和完成的时间

•fetch.size**显示单个请求中要获取的数据量

•data.consumered.in.MB****显示所有已消费邮件的大小

•***MB.sec*表示每秒传输的数据量,单位为MB(吞吐量取决于大小)

•data.consumered.in.nMsg将显示测试期间消耗的消息总数


•last nMsg.sec显示每秒消耗的消息数(消息计数的吞吐量).

这些脚本是开源的,顺便说一句,这些脚本是开源的,顺便说一句,谢谢,但我想了解这些perf-test.sh文件的使用,以及我们如何使用这些文件进行测量。谢谢,但我想了解这些perf-test.sh文件的使用,以及我们如何使用这些文件进行测量。使用这些文件测试的是哪个消费者脚本使用此脚本测试哪个消费者