elasticsearch 如何在ElasticSearch中记录日志中已消除重复数据的邮件数?,elasticsearch,logstash,deduplication,elasticsearch,Logstash,Deduplication" /> elasticsearch 如何在ElasticSearch中记录日志中已消除重复数据的邮件数?,elasticsearch,logstash,deduplication,elasticsearch,Logstash,Deduplication" />

elasticsearch 如何在ElasticSearch中记录日志中已消除重复数据的邮件数?

elasticsearch 如何在ElasticSearch中记录日志中已消除重复数据的邮件数?,elasticsearch,logstash,deduplication,elasticsearch,Logstash,Deduplication,我从该文档中了解到,可以轻松地在Logstash中使用_id来替换ElasticSearch中的重复记录。如何为重复的系统日志消息添加/增加计数值?不只是替换记录,我想增加计数,这样我就知道它重复了多少次。根据您用来查看数据的内容,它可能只需查看文档的\u version字段即可。当文档发生更改时,ES将自动更新该值。Kibana没有显示_version字段(),但它在那里。我想我已经找到了我需要的。如果记录不存在,则将插入,如果记录存在,则更新。启用该字段将允许增加现有字段。这种组合使我能够从

我从该文档中了解到,可以轻松地在Logstash中使用_id来替换ElasticSearch中的重复记录。如何为重复的系统日志消息添加/增加计数值?不只是替换记录,我想增加计数,这样我就知道它重复了多少次。

根据您用来查看数据的内容,它可能只需查看文档的
\u version
字段即可。当文档发生更改时,ES将自动更新该值。Kibana没有显示_version字段(),但它在那里。

我想我已经找到了我需要的。如果记录不存在,则将插入,如果记录存在,则更新。启用该字段将允许增加现有字段。这种组合使我能够从计数1开始,如果记录已经存在,则递增1。谢谢@Alcanzar,你的回答让我的大脑朝着正确的方向找到了这个。

谢谢,这可能会奏效。我需要做一些测试来验证版本号是否从1开始,并且每次递增1(而不是在任何其他条件下),但这绝对是一个好的开始。一个相关的问题可能是,是否有一种方法可以告诉ES增加一个字段,而不是指定一个值。最终,我试图确定ES是否可以作为事件数据库运行良好(在这种情况下,除了重复消息外,记录还可以通过其他标准进行更新),但这本身可能是一个太宽泛的问题,无法发布?Elasticsearch可以做到,但我认为你不能通过LogstashAha做到这一点,你比我先做到了。:)但是,是的,我们必须调查Logstash的角度。再次感谢!