elasticsearch 多个Logstash实例与Filebeats

我正试图为我们的弹性堆栈实现建立最佳的体系结构

我们有两个不同的网络（我们称之为内部网络和外部网络）以及每个网络上的几个web/db/应用服务器（大约10台）

我想使用两个网络中机器的IIS日志、rabbitMQ消息和一些其他比特和BOB，并将它们发送到我的elastic和kibana安装所在的内部网络上的单个服务器

对于内部和外部网络上的服务器，我可以看到将日志发送到elastic的两种主要方法

在每台服务器上设置日志存储，并将输出发送到内部网络上的弹性服务器

在每台服务器上安装filebeats，并将日志发送到运行logstash的单个服务器（这可能是承载elastic和kibana的同一个盒子）

目前我不确定这些方法的利弊。我相信正确的方法是使用Filebeats，但我不知道为什么我不把logstash放在多个地方，因为这样似乎可以更好地分发日志处理。 再说一次，也许有一个包含20-30个输入的日志存储不是问题

---

对这方面的任何想法或指导感兴趣。

从我在文档中读到的内容来看，Logstash在内存方面比Filebeat要求更高，特别是如果您对日志进行某种处理（如grok解析）。Logstash至少表示一个JVM（使用JRuby）。对于filebeat，我认为它的占用空间要小得多，因为它是为传送日志而优化的（我从未使用过它，所以我不能说）

此外，它还会使您想要对Logstash实例或其配置进行的任何更新复杂化

对于集中式日志存储，其优点是可以轻松更改Elasticsearch实例的地址、重定向到类似redis的缓存或添加其他输出。我还发现Logstash（在版本2.+）中）需要频繁重启，所以如果您只需要处理一个实例，就更容易了

我从来没有对多个输入使用过Logstash，所以我不能说

---

---

在我负责日志集中系统的工作中，我们使用beaver（相当于filebeat）将日志发送到redis服务器，并让两三个Logstash服务器将所有内容发送到Elasticsearch。以上所有评论都来自那个时期。

信息非常好，我认为集中的日志存储配置管理对我来说已经足够卖点了。有点令人失望，所以听说多个logstash重新启动，但也许我们不会经历这种情况@dougajmcdonald在重新启动时使用了比当前可用版本（5.5）更旧的版本（2.+）。我认为部署它们的服务器对于工作负载来说不够强大（特别是对于我们应用于某些日志的配置）。所以，是的，你可能不会有同样的问题。