elasticsearch 麋鹿堆叠和缩放

请容忍我。我花了一周左右的时间熟悉麋鹿群

我有一个运行ELK堆栈的单盒解决方案，我有关于如何转发多种类型日志以及如何将它们放入不同ES索引的基础知识

这一切都很好，我想扩大业务

我的问题更多的是如何扩展解决方案以满足更多的数据需求

当前的解决方案是处理较小的数据子集，工作正常，但我希望聚合更多的数据。例如，我目前正在从4个邮箱服务器推送邮件跟踪日志，我想做同样的事情，但对于40个邮箱服务器，以及更繁忙的服务器

我还想从客户端访问服务器推送IIS日志文件，共有18台CAS服务器，在高峰时间，每台服务器大约30分钟的IIS日志大小为120MB，记录近100万条

这些数据量很可能会使运行麋鹿的单个盒子崩溃

---

我没有真正研究过它，但我读到ES允许某种形式的集群添加更多实例，这同样适用于Logstash吗？Kibana应该在多台服务器上运行吗？或者使用Logstash和ES的不同服务器？

如果您对记录进行大量处理，则使用Logstash会达到极限，例如Grok、Conditional等。请观察机器的cpu利用率，以获取提示

对于elasticsearch本身，它是关于RAM和磁盘IO的。在一个集群中有更多的节点应该同时提供这两种功能

使用两个elasticsearch节点，您将在两台机器上获得一个副本。添加第三个，您就可以开始实现IO的好处—将两个副本写入三台机器会分散IO

终极数据节点将在机器上有64GB的RAM，其中31GB分配给elasticsearch

---

您可能需要添加非数据节点，这些节点处理要索引的数据的路由以及运行查询时的“减少”阶段。将其中两个放在负载平衡器后面。

如果您对记录进行大量处理，您将达到logstash的限制-摸索、条件等。观察机器的cpu利用率以获取提示

对于elasticsearch本身，它是关于RAM和磁盘IO的。在一个集群中有更多的节点应该同时提供这两种功能

使用两个elasticsearch节点，您将在两台机器上获得一个副本。添加第三个，您就可以开始实现IO的好处—将两个副本写入三台机器会分散IO

终极数据节点将在机器上有64GB的RAM，其中31GB分配给elasticsearch

---

您可能需要添加非数据节点，这些节点处理要索引的数据的路由以及运行查询时的“减少”阶段。将其中两个放在负载平衡器后面。

正如Alain提到的，添加更多ES节点将提高性能并提供冗余

在logstash前端，我们有两个logstash服务器输入ES-目前我们只是将不同的服务器引导到不同的logstash服务器，但我们可能会在前端添加一个HA代理层来自动完成此操作，并再次提供冗余

---

有了Kibana，我就不用担心太多了——据我所知，大部分处理都是在客户端浏览器中完成的，这并不取决于ES群集的性能。

正如Alain所提到的，添加更多ES节点将提高性能并提供冗余

在logstash前端，我们有两个logstash服务器输入ES-目前我们只是将不同的服务器引导到不同的logstash服务器，但我们可能会在前端添加一个HA代理层来自动完成此操作，并再次提供冗余

有了Kibana，我就不会太担心了——据我所知，大部分处理都是在客户端浏览器中完成的，而这并不取决于ES集群的性能