elasticsearch 有没有办法确定弹性堆栈上的负载是否在增长?,elasticsearch,logstash,kibana,elasticsearch,Logstash,Kibana" /> elasticsearch 有没有办法确定弹性堆栈上的负载是否在增长?,elasticsearch,logstash,kibana,elasticsearch,Logstash,Kibana" />

elasticsearch 有没有办法确定弹性堆栈上的负载是否在增长?

elasticsearch 有没有办法确定弹性堆栈上的负载是否在增长?,elasticsearch,logstash,kibana,elasticsearch,Logstash,Kibana,我刚刚开始学习弹性堆叠,我已经诊断生产问题。我们的设置有时会遇到问题,无法使用Logstash将消息从ActiveMq拉到弹性搜索。存在1-3小时的延迟 一种怀疑是,在我们的应用程序最新发布后,负载可能会增加。 有没有办法找出按月分组存储的邮件的总大小?不仅是它们的数量,还有它们的总大小。可能是文档的大小增加了,而不是文档的数量增加了。从设置生产监控实例开始,以提供集群的详细统计信息: 这将允许您获得诸如消息/月、平均文档大小、索引性能、缓冲区负载等指标。有关内部性能的更多详细信息,请参阅 当把

我刚刚开始学习弹性堆叠,我已经诊断生产问题。我们的设置有时会遇到问题,无法使用Logstash将消息从ActiveMq拉到弹性搜索。存在1-3小时的延迟

一种怀疑是,在我们的应用程序最新发布后,负载可能会增加。
有没有办法找出按月分组存储的邮件的总大小?不仅是它们的数量,还有它们的总大小。可能是文档的大小增加了,而不是文档的数量增加了。

从设置生产监控实例开始,以提供集群的详细统计信息:

这将允许您获得诸如消息/月、平均文档大小、索引性能、缓冲区负载等指标。有关内部性能的更多详细信息,请参阅

当把这部分放在一起时,你也可以调整Logstash的性能,例如

调整日志存储工作程序设置:

首先,通过使用-w标志来增加管道工人的数量。这将增加过滤器和输出可用的线程数。如果需要,可以安全地将其扩展到多个CPU核,因为线程在I/O上可能会变得空闲

您还可以调整输出批次大小。对于许多输出,例如Elasticsearch输出,此设置将对应于I/O操作的大小。对于Elasticsearch输出,此设置对应于批次大小


开始设置生产监控实例,以提供集群的详细统计信息:

这将允许您获得诸如消息/月、平均文档大小、索引性能、缓冲区负载等指标。有关内部性能的更多详细信息,请参阅

当把这部分放在一起时,你也可以调整Logstash的性能,例如

调整日志存储工作程序设置:

首先,通过使用-w标志来增加管道工人的数量。这将增加过滤器和输出可用的线程数。如果需要,可以安全地将其扩展到多个CPU核,因为线程在I/O上可能会变得空闲

您还可以调整输出批次大小。对于许多输出,例如Elasticsearch输出,此设置将对应于I/O操作的大小。对于Elasticsearch输出,此设置对应于批次大小