elasticsearch FileBeat直接到ELS还是通过LogStash？

我们正在安装ELS和Kibana以进行日志聚合/分析。第一个使用它的系统是greenfield，因此我们从组成系统的服务输出结构化日志。考虑到我们不需要在日志中添加结构，我计划使用FileBeat将日志直接发送到ELS，而不使用LogStash。这是一个明智的选择还是LogStash比我们可能需要的解析更有价值？如果我们确实使用LogStash，我可以使用它来获取日志文件吗？还是应该仍然使用FileBeat将日志泵送到LogStash？

如果您需要聚合来自多个服务器的日志并对事件应用一些常见的转换和过滤，LogStash非常有用

如果您的日志事件已经结构化，并且您可以直接对它们进行索引，那么您肯定可以让Filebeat将它们直接发送到ES。如果ES出现故障（例如维护），Filebeat将重试，直到成功发送事件

这是一个明智的选择还是LogStash比我们可能需要的解析更有价值

在您的情况下，是否使用Logstash取决于在将日志插入ES之前是否需要处理日志

除了解析（这在您的用例中显然是无用的）之外，您还可以使用Logstash添加位置，解析日期，等等

您可以查看可用的过滤器

如果我们确实使用LogStash，我可以使用它来获取日志文件，还是仍然应该使用FileBeat将日志泵送到LogStash

如果您需要Logstash，并且能够在日志所在的机器上运行它，那么可以通过使用文件输入避免使用Filebeat

---

但请记住，日志存储，特别是用于解析时，可能会消耗大量资源。最好将它放在另一台机器上，并使用Filebeat将日志泵送至Logstash。

注意：对于无限次的尝试，您必须在配置中设置行

最大重试次数：-1

，否则它将只尝试3次并终止（默认值=3）。在我们的配置中，我们还有一个充当缓冲区的Redis，但即使在这种情况下，该选项仍然很有用（Redis也可以关闭）。