Logstash shipper或indexer是否应该执行过滤器？

我正在运行两个Logstash实例，一个作为“发货人”，一个作为“索引器”

我希望托运人捡起原木，并使用伐木工人将其转发给索引器。 索引器写入elasticsearch

要进行过滤，应在哪里定义过滤器？关于托运人？索引器？两者都有

示例过滤器包括键+值提取和时间戳标识

文件中也不清楚伐木工是如何对信息进行编码/解码的，所以我不确定我在处理什么

（对于奖励积分，答案是否也适用于logstash货运代理？）

使用Logstash 1.4.2。配置如下

机器“托运人”

另一台机器：“索引器”（10.1.1.1）

---

Logstash旨在尽可能适合您的基础设施，因此您可以根据需要组织托运人和索引器。您可以在同一台服务器上、在不同的节点上甚至在多个层中运行它们

我可以想象在什么情况下我可能会对托运人进行一些过滤。也许是多行收集以保持传入事件的简单性，或者是其他不涉及大量重量级

grok

工作的短期分析

---

不过，通常情况下，您希望保持发货人的轻量级，因为这些服务器可能专注于运行Logstash以外的重要应用程序。如果这是您的目标，那么在indexer节点上运行大部分或所有过滤器是有意义的。

Logstash的设计是为了尽可能适合您的基础设施，因此您可以根据需要组织发货人和索引器。您可以在同一台服务器上、在不同的节点上甚至在多个层中运行它们

我可以想象在什么情况下我可能会对托运人进行一些过滤。也许是多行收集以保持传入事件的简单性，或者是其他不涉及大量重量级

grok

工作的短期分析

---

不过，通常情况下，您希望保持发货人的轻量级，因为这些服务器可能专注于运行Logstash以外的重要应用程序。如果这是您的目标，那么在indexer节点上运行大部分或所有筛选器是有意义的。

事实上，我认为shipper和MQ（Redis或Kafka）都可以用来提高ELK的吞吐量。如果只有少量日志数据，您可以在节点中完成所有工作（收集、筛选和转发），但是，如果需要监视的日志文件很多，然后最好在不同的节点中分离这些工作，发货人收集日志数据，MQ作为缓冲区并可以做一些负载平衡工作，indexer作为过滤器来做重量级的过滤工作。在这种情况下，最好让发货人尽可能简单。

我认为发货人和MQ（Redis或Kafka）都是如此用于提高ELK的吞吐量。如果只有少量日志数据，您可以在一个节点中完成所有工作（收集、筛选和转发），但是，如果需要监视许多日志文件，则最好将这些工作在不同的节点中分离，发货人收集日志数据，MQ充当缓冲区，并可以执行一些负载平衡工作，索引器充当过滤器来完成重量级过滤器的工作。在这种情况下，最好使托运人尽可能简单。

我注意到，当通过伐木工人输出时，托运人的现场提取过滤器可能会被忽略。输出编解码器是决定因素。有关更多信息，请参阅。我注意到，当通过伐木工人输出时，发货人的字段提取过滤器可能会被忽略。输出编解码器是决定因素。有关更多信息，请参阅。

input{
  file{
    path=>["/var/log/blah.log"]
    tags => ["java", "some info"]
    codec=>multiline{
      pattern=>"^%{TIMESTAMP_ISO8601} "
      negate=>true
      what=>previous
    }
  }
}

filter{ 
  # ???
}

output{
  lumberjack {
    hosts => ["10.1.1.1"]
    port => 5000
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
  }

}

input {
 lumberjack {
    port => 5000
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

filter{ 
  # ???
}

output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}