Logstash 删除日志存储配置文件中不需要的字段

我正在建立一个ELK设置，它工作正常，但是我遇到了这样一种情况：我想在通过

logstash

进行处理时，从系统日志数据中删除某些字段，比如

remove\u field

&

remove\u tag

，我在logstash配置文件中定义了这些字段，但它们不起作用

寻找任何尊重和专家建议，以纠正配置，使其运行，非常感谢在高级

我的日志存储配置文件： 出现在Kibana门户上的数据示例 我的资源详情： 操作系统版本：Linux 7

---

日志存储版本：6.5.4

您不能删除

\u type

和

\u index

，这些是elasticsearch工作所需的元数据字段，它们包含有关索引名称和数据映射的信息，

\u score

字段也是一个元数据字段，在搜索时生成，它不在您的文档中。

您不能删除

\u type

和

\u index

，这些是elasticsearch工作所需的元数据字段，它们包含有关您的索引名称和数据映射的信息，

\u score

字段也是一个元数据字段，在搜索时生成，它不在您的文档中。

@-leandrojmp，非常感谢您的专业回答，让我检查一下考虑因素。。但是，如果您的grok筛选器成功，它将删除名为

\u grokparsefailure

的标记。但是，由于您只有一个grok筛选器，因此没有必要使用这一行，如果您有另一个grok，并且在grok失败后想要删除标记，这将是有意义的。Thnx它非常有效：-），学到了新东西，感谢您的所有帮助。@-leandrojmp，非常感谢您的专业回答，让我检查考虑因素。。但是，关于

remove\u tag=>[“\u grokparsefailure”]

如果grok筛选成功，它将删除名为

\u grokparsefailure

的标记。但是，由于您只有一个grok筛选器，因此没有必要使用此行，如果您有另一个grok，并且在失败的grok之后希望删除标记，这将是有意义的。Thnx非常有效：-），学到了新东西，感谢您的帮助。

[root@sandbox-prd~]# cat /etc/logstash/conf.d/syslog.conf
input {
  file {
    path => [ "/data/SYSTEMS/*/messages.log" ]
    start_position => beginning
    sincedb_path => "/dev/null"
    max_open_files => 64000
    type => "sj-syslog"
 }
}

filter {
  if [type] == "sj-syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp } %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "_type", "_index", "_score", "path"]
      remove_tag => ["_grokparsefailure"]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
  }
 }
}
output {
        if [type] == "sj-syslog" {
        elasticsearch {
                hosts => "sandbox-prd02:9200"
                manage_template => false
                index => "sj-syslog-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

syslog_pid:6662 type:sj-syslog syslog_message:(root) CMD (LANG=C LC_ALL=C /usr/bin/mrtg /etc/mrtg/mrtg.cfg --lock-file /var/lock/mrtg/mrtg_l --confcache-file /var/lib/mrtg/mrtg.ok) syslog_severity:notice syslog_hostname:dbaprod01 syslog_severity_code:5 syslog_timestamp:Feb 11 10:25:02 @timestamp:February 11th 2019, 23:55:02.000 message:Feb 11 10:25:02 dbaprod01 CROND[6662]: (root) CMD (LANG=C LC_ALL=C /usr/bin/mrtg /etc/mrtg/mrtg.cfg --lock-file /var/lock/mrtg/mrtg_l --confcache-file /var/lib/mrtg/mrtg.ok) syslog_facility:user-level syslog_facility_code:1 syslog_program:CROND received_at:February 11th 2019, 10:25:03.353 _id:KpHo2mgBybCgY5IwmRPn _type:messages
_index:sj-syslog-2019.02.11 _score: -