Performance 测试BigData管道端到端性能的工具？_Performance_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Apache Kafka_Logstash_Kibana

Performance 测试BigData管道端到端性能的工具？

performance apache-kafka logstash kibana

Performance 测试BigData管道端到端性能的工具？,performance,elasticsearch,apache-kafka,logstash,kibana,Performance,elasticsearch,Apache Kafka,Logstash,Kibana,我有这样一条管道：卡夫卡->罗格斯塔什->弹性搜索->基班纳我发现了一个producer性能工具，可以通过脚本“bin/kafka producer perf test.sh”调用它我想知道是否有人对测试性能端到端测试有什么建议谢谢。您的管道Kafka->Logstash->ElasticSearch->Kibana包含4个组件。卡夫卡、Logstash、ElasticSearch、Kibana所有这些都有不同的用途。每个组件具有不同的性能编号和特性 bin/kafka producer

我有这样一条管道：卡夫卡->罗格斯塔什->弹性搜索->基班纳

我发现了一个producer性能工具，可以通过脚本“bin/kafka producer perf test.sh”调用它

我想知道是否有人对测试性能端到端测试有什么建议

谢谢。

您的管道

Kafka->Logstash->ElasticSearch->Kibana

包含4个组件。卡夫卡、Logstash、ElasticSearch、Kibana所有这些都有不同的用途。每个组件具有不同的性能编号和特性

bin/kafka producer perf test.sh

。若您已将管道配置为读取、处理和显示使用上述测试工具生成的数据，那个么您可以获得总体管道性能。这样，您将无法找到管道中的限制组件

我建议您配置一个复制管道所需的类似数据的服务器。卡夫卡定制制作人-是一个很好的工具。使用influxDB/graphite（或您选择的任何timeseries DB）在所有组件上部署监视，并测量端到端吞吐量以及组件吞吐量

示例基准是。这将帮助您开始。

非常感谢！我想测量从kafka到kibana的所有管道性能，例如延迟和吞吐量