Logstash 如何删除filebeat标记,如id、主机名、版本、grok_失败消息

Logstash 如何删除filebeat标记,如id、主机名、版本、grok_失败消息,logstash,kibana,elastic-stack,logstash-grok,Logstash,Kibana,Elastic Stack,Logstash Grok,我是新来的麋鹿我的样本日志看起来像 2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured 下面是我的filebeat配置 filebeat.prospectors: - input_type: log paths: -

我是新来的麋鹿我的样本日志看起来像

2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured
下面是我的filebeat配置

filebeat.prospectors:
- input_type: log
  paths:
    - /opt/apache-tomcat-7.0.82/logs/*.log

document_type: apache-access
fields_under_root: true

output.logstash:
  hosts: ["10.2.3.4:5044"]
和我的logstash filter.conf文件:

filter {
  grok {
    match => [ "message", "transactionId %{WORD:transaction_id} operation %{WORD:otype} received request duration %{NUMBER:duration} exception %{WORD:error}" ]
  }
}
filter {
    if "beats_input_codec_plain_applied" in [tags] {
        mutate {
            remove_tag => ["beats_input_codec_plain_applied"]
        }
    }
}
); 在kibana仪表板中,我可以看到如下日志输出

beat.name:
    ebb8a5ec413b
beat.hostname:
    ebb8a5ec413b
host:
    ebb8a5ec413b
tags:
beat.version:
    6.2.2
source:
    /opt/apache-tomcat-7.0.82/logs/IDExtraction.log
otype:
    extractOCRData
duration:
    12344
transaction_id:
    abcdef1234
@timestamp:
    April 9th 2018, 16:20:31.853
offset:
    805,655
@version:
    1
error:
    error
message:
    2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured
_id:
    7X0HqmIBj3MEd9pqhTu9
_type:
    doc
_index:
    filebeat-2018.04.09
_score:
    6.315 
第一个问题是如何删除filebeat标记,如id、主机名、版本、grok_失败消息

2如何根据时间戳对日志进行排序,因为新生成的日志不会出现在kibana仪表板的顶部


3 my grok filter中是否需要任何更改您可以通过在filebeat配置文件中的\u root:false下设置
字段的值来删除
filebeat
标记。您可以阅读有关此选项的信息

如果此选项设置为true,则自定义字段存储为 输出文档中的顶级字段,而不是分组在 字段子字典。如果自定义字段名与其他字段名冲突 由Filebeat添加的字段名,自定义字段将覆盖其他字段 田地

您可以使用
检查标记中是否有
\u grokparsefailure
,如果[tags]
中有“\u grokparsefailure”,并使用
删除标记=>[“\u grokparsefailure”]
将其删除

你的grok过滤器似乎没问题

希望能有帮助