elasticsearch 是否可以为filebeat配置多个输出?,elasticsearch,logstash,filebeat,elasticsearch,Logstash,Filebeat" /> elasticsearch 是否可以为filebeat配置多个输出?,elasticsearch,logstash,filebeat,elasticsearch,Logstash,Filebeat" />

elasticsearch 是否可以为filebeat配置多个输出?

elasticsearch 是否可以为filebeat配置多个输出?,elasticsearch,logstash,filebeat,elasticsearch,Logstash,Filebeat,在我们的一个应用程序中,我们使用logstash解析应用程序日志,并将其索引到elasticsearch中。我们的简单架构是logfiles-->filebeat-->logstash-->elasticsearch 由于我们启用了多个日志文件示例(apachelogs、passengerlogs、应用程序日志等),logstash无法解析数据量,因此elasticsearch中缺少日志。有没有办法在logstash处理大量数据,或者我们可以有多个logstash服务器根据日志类型从filebe

在我们的一个应用程序中,我们使用logstash解析应用程序日志,并将其索引到elasticsearch中。我们的简单架构是logfiles-->filebeat-->logstash-->elasticsearch

由于我们启用了多个日志文件示例(apachelogs、passengerlogs、应用程序日志等),logstash无法解析数据量,因此elasticsearch中缺少日志。有没有办法在logstash处理大量数据,或者我们可以有多个logstash服务器根据日志类型从filebeat接收日志?例如:应用程序日志将输出logstash-1和apachelogs发送到logstash-2


提前感谢。

目前无法在Filebeat中多次定义相同的输出类型

但有几个选项可以实现您的目标:

  • 您可以使用filebeat中的loadbalance选项将事件分发到多个日志存储,默认情况下,beats将选择一个随机主机并将其固定

  • 使用一个队列,比如让logstash使用kafka输入,这将允许您根据需要添加更多的LS


谢谢您的回复。我要试试卡夫卡。