elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段
我正在测试ElasticSearch以处理大约10亿个小文档(只有8个字段)。当我使用logstash对数据进行索引时,它会添加其他字段,如“message”、“version”、“timestamp”,这些字段对我的案例没有用处,并且似乎会消耗大量的文档大小。有没有办法只索引配置中定义的字段?是的,只需在日志存储配置中添加以下内容:
elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段,
elasticsearch,logstash,
elasticsearch,Logstash,我正在测试ElasticSearch以处理大约10亿个小文档(只有8个字段)。当我使用logstash对数据进行索引时,它会添加其他字段,如“message”、“version”、“timestamp”,这些字段对我的案例没有用处,并且似乎会消耗大量的文档大小。有没有办法只索引配置中定义的字段?是的,只需在日志存储配置中添加以下内容: filter { mutate { remove_field => [ "@version", "@timestamp", "message" ]
filter {
mutate {
remove_field => [ "@version", "@timestamp", "message" ]
}
}
可以,只需在日志存储配置中添加以下内容:
filter {
mutate {
remove_field => [ "@version", "@timestamp", "message" ]
}
}
是的,您可以在conf文件中使用以下代码段添加和删除要删除的字段
filter {
mutate {
remove_field => [ "@timestamp", "message", "@version" ]
}
}
要添加新字段,请使用以下代码段
filter {
mutate {
add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
}
}
是的,您可以在conf文件中使用以下代码段添加和删除要删除的字段
filter {
mutate {
remove_field => [ "@timestamp", "message", "@version" ]
}
}
要添加新字段,请使用以下代码段
filter {
mutate {
add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
}
}