Performance 使用Kafka和Storm进行负载测试

我们的系统接受post请求并向kafka主题发送json正文，该主题被配置为用于拓扑的喷口，拓扑生成输出消息到kafka主题。 如何对该系统进行负载测试？系统每秒处理的消息数

---

我计划使用jmeter进行负载测试

每当我们考虑Web API的性能或负载测试时，我们都会想到jmeter，不过您也可以检查LoadRunner等替代方案

但是，从Kafka和Storm的角度来看，您需要编写Storm Kafka spout来读取和提交偏移量，还可能需要一些监视工具来检查和验证它在类似于

• 吞吐量（消息/秒）取决于数据大小
• 消息数量的吞吐量（消息/秒）
• 制作人方面的表演
• 消费者方面的表现

我已经尝试过Yahoo Kafka manager，它是开源的，可以满足这个目的，可能想尝试一下：，但是还有其他的监控工具

如果您希望仅关注卡夫卡负载性能基准测试，则卡夫卡发行版下的以下命令将非常有用：

• kafka-producer-perf-test.sh
• kafka-consumer-perf-test.sh

---

更多细节：

如果您计划使用JMeTM，考虑插件是有意义的，它提供了方便的UI，允许指定Kafka endpoints、主题等

---

如果您还需要阅读来自Kafka主题的消息，您可以使用Java和Groovy语言来阅读这些消息，请查看和文章以获取更多信息和示例代码片段

谢谢您提供的信息！！基本上，kafka主题对我们来说只是输出存储，基本上我们想要对我们的storm拓扑进行基准测试，所以我们想要强调我们的拓扑。如何实现这一点？谢谢，但实际上我可以使用post API将消息作为生产者发布到主题，但我们想要负载测试我们的apache storm拓扑