elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段

elasticsearch 如何利用logstash索引数据,但不从logstash生成额外字段,elasticsearch,logstash,elasticsearch,Logstash,我正在测试ElasticSearch以处理大约10亿个小文档(只有8个字段)。当我使用logstash对数据进行索引时,它会添加其他字段,如“message”、“version”、“timestamp”,这些字段对我的案例没有用处,并且似乎会消耗大量的文档大小。有没有办法只索引配置中定义的字段?是的,只需在日志存储配置中添加以下内容: filter { mutate { remove_field => [ "@version", "@timestamp", "message" ]

我正在测试ElasticSearch以处理大约10亿个小文档(只有8个字段)。当我使用logstash对数据进行索引时,它会添加其他字段,如“message”、“version”、“timestamp”,这些字段对我的案例没有用处,并且似乎会消耗大量的文档大小。有没有办法只索引配置中定义的字段?

是的,只需在日志存储配置中添加以下内容:

filter {
 mutate {
  remove_field => [ "@version", "@timestamp", "message" ]
 }
}

可以,只需在日志存储配置中添加以下内容:

filter {
 mutate {
  remove_field => [ "@version", "@timestamp", "message" ]
 }
}

是的,您可以在conf文件中使用以下代码段添加和删除要删除的字段

filter {
  mutate {
    remove_field => [ "@timestamp", "message", "@version" ]
  }
}
要添加新字段,请使用以下代码段

filter {
  mutate {
    add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
  }
}

是的,您可以在conf文件中使用以下代码段添加和删除要删除的字段

filter {
  mutate {
    remove_field => [ "@timestamp", "message", "@version" ]
  }
}
要添加新字段,请使用以下代码段

filter {
  mutate {
    add_field => { "foo_%{somefield}" => "Hello world, from %{host}" }
  }
}