Logstash 如何删除filebeat标记,如id、主机名、版本、grok_失败消息
我是新来的麋鹿我的样本日志看起来像Logstash 如何删除filebeat标记,如id、主机名、版本、grok_失败消息,logstash,kibana,elastic-stack,logstash-grok,Logstash,Kibana,Elastic Stack,Logstash Grok,我是新来的麋鹿我的样本日志看起来像 2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured 下面是我的filebeat配置 filebeat.prospectors: - input_type: log paths: -
2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured
下面是我的filebeat配置
filebeat.prospectors:
- input_type: log
paths:
- /opt/apache-tomcat-7.0.82/logs/*.log
document_type: apache-access
fields_under_root: true
output.logstash:
hosts: ["10.2.3.4:5044"]
和我的logstash filter.conf文件:
filter {
grok {
match => [ "message", "transactionId %{WORD:transaction_id} operation %{WORD:otype} received request duration %{NUMBER:duration} exception %{WORD:error}" ]
}
}
filter {
if "beats_input_codec_plain_applied" in [tags] {
mutate {
remove_tag => ["beats_input_codec_plain_applied"]
}
}
}
);
在kibana仪表板中,我可以看到如下日志输出
beat.name:
ebb8a5ec413b
beat.hostname:
ebb8a5ec413b
host:
ebb8a5ec413b
tags:
beat.version:
6.2.2
source:
/opt/apache-tomcat-7.0.82/logs/IDExtraction.log
otype:
extractOCRData
duration:
12344
transaction_id:
abcdef1234
@timestamp:
April 9th 2018, 16:20:31.853
offset:
805,655
@version:
1
error:
error
message:
2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured
_id:
7X0HqmIBj3MEd9pqhTu9
_type:
doc
_index:
filebeat-2018.04.09
_score:
6.315
第一个问题是如何删除filebeat标记,如id、主机名、版本、grok_失败消息
2如何根据时间戳对日志进行排序,因为新生成的日志不会出现在kibana仪表板的顶部
3 my grok filter中是否需要任何更改您可以通过在filebeat配置文件中的\u root:false下设置
字段的值来删除filebeat
标记。您可以阅读有关此选项的信息
如果此选项设置为true,则自定义字段存储为
输出文档中的顶级字段,而不是分组在
字段子字典。如果自定义字段名与其他字段名冲突
由Filebeat添加的字段名,自定义字段将覆盖其他字段
田地
您可以使用检查标记中是否有\u grokparsefailure
,如果[tags]
中有“\u grokparsefailure”,并使用删除标记=>[“\u grokparsefailure”]
将其删除
你的grok过滤器似乎没问题
希望能有帮助