elasticsearch 如何使用Logstash调整Elasticsearch性能

我们正在使用ElasticSearch、Logstash和Kibana分析nginx日志。 现在我们有大约10台带有logstash转发器的nginx服务器，1台logstash服务器（8核，8G），2个ElasticSearch节点（每个节点都是4核和8G），都带有SSD硬盘驱动程序

我们的问题是ElasticSearch集群的索引性能不够好。nginx日志生成的速度比索引更快。我们认为logstash服务器和Elastic集群并没有发挥最大的作用。因为演出还没有满

Logstash服务器（8核）大量使用CPU。平均负载约为3-6。 以下是Elasticsearch的顶级数据之一

top - 14:26:08 up 1 day, 32 min,  2 users,  load average: 0.69, 0.75, 0.77
Tasks: 115 total,   1 running, 114 sleeping,   0 stopped,   0 zombie
Cpu(s): 14.2%us,  1.8%sy,  0.0%ni, 69.9%id, 14.0%wa,  0.0%hi,  0.0%si,  0.1%st

使用BigDesk插件监控Elasticsearch索引图。该值约为2K/s.%wa并不总是像upper一样高

以下是Elasticsearch的iostat数据之一

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
       9.99    0.00    2.66   12.10    0.15   75.10

Device:           rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
vda               11.60     4.80   18.60    0.80     0.12     0.02    14.93     0.01    0.60   0.56   1.08
vdb               4.40 21633.80  190.80  158.40    11.02    71.63   484.73    42.52  105.02   1.19  41.42

我禁用了副本，禁用了所有字段。 网络很好

---

我们如何相应地调整性能。我听说有人可以将性能提高到20K/s。

我会尝试从logstash中删除过滤器，然后添加指标，看看您的集群可以扩展多少

从单个ES节点开始，从此处编辑ES的设置：

---

metrics插件：

添加更多Logstash 1.5实例可以提高性能。瓶颈不是弹性搜索，而是Logstash。但是Logstash的性能还不够好

最后，我使用kafka作为事件缓存，并使用自己的代码将日志事件推送到ES。ES服务器的机器可以被充分利用