elasticsearch 如何管理从多拍到集中日志存储的输入,elasticsearch,logstash,kibana-4,logstash-configuration,filebeat,elasticsearch,Logstash,Kibana 4,Logstash Configuration,Filebeat" /> elasticsearch 如何管理从多拍到集中日志存储的输入,elasticsearch,logstash,kibana-4,logstash-configuration,filebeat,elasticsearch,Logstash,Kibana 4,Logstash Configuration,Filebeat" />

elasticsearch 如何管理从多拍到集中日志存储的输入

elasticsearch 如何管理从多拍到集中日志存储的输入,elasticsearch,logstash,kibana-4,logstash-configuration,filebeat,elasticsearch,Logstash,Kibana 4,Logstash Configuration,Filebeat,我想使用弹性堆栈进行日志聚合,以便从10台机器获取日志。我希望在10台机器上安装Filebeat&从每台机器上获取日志并将其发送到安装在单独机器上的集中式日志存储服务器。在单独的机器中,安装了Logstash Elasticsearch和Kibana。我需要Logstash,因为我想在使用beats收集日志之后处理和解析数据 根据这种架构,我面临一些识别和解析日志的问题。如何使logstash标识一次从多个beats服务器收集日志?我可以在logstash beats插件中指定多个主机,以便lo

我想使用弹性堆栈进行日志聚合,以便从10台机器获取日志。我希望在10台机器上安装Filebeat&从每台机器上获取日志并将其发送到安装在单独机器上的集中式日志存储服务器。在单独的机器中,安装了Logstash Elasticsearch和Kibana。我需要Logstash,因为我想在使用beats收集日志之后处理和解析数据

根据这种架构,我面临一些识别和解析日志的问题。如何使logstash标识一次从多个beats服务器收集日志?我可以在logstash beats插件中指定多个主机,以便logstash能够一次解析来自10台机器的所有日志吗

我是否应该在所有10台机器中定义单独的文档类型作为Filebeat配置的一部分,稍后可以在Logstash中使用该配置,以便在filter插件中定义多种类型(使用通配符-tomcat*)

单机设置的Filebeat配置示例:-

################### Filebeat Configuration Example #########################
############################# Filebeat ####################################
filebeat:
  prospectors:
    -
      paths:
        - /location/to/file/catalina.out
      document_type: tomcat1
      scan_frequency: 5s
      input_type: log

output:
  logstash:
    hosts: ["<host-of-the-machine-on-which-logstash-is-installed>:5044"]
  console:
    pretty: true
  shipper:
  logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

欢迎更多想法。

实际上,beats输入插件的
主机
参数意味着要监听的IP地址。这不是filebat的IP,实际上根本不需要

因此,只需指定要侦听的端口就足够了,我认为您显示的配置将起作用。Logstash将侦听所有10台机器的日志并对其进行处理

input {
    beats   {
        host => "ip/of/machine/1"
        port => 5044
    }
}
filter {
    ........................
    ........................
    ........................
}
output{
    elasticsearch {
        hosts => "localhost:9200"
        index => "logs-%{+YYYY.MM.dd}"
    }
    stdout { codec => rubydebug }
}