从Splunk事件中筛选重复条目

从Splunk事件中筛选重复条目,splunk,splunk-query,Splunk,Splunk Query,我是一个新的splunk玩家,有一些splunk事件,如下所示 2019-06-26 23:45:36信息ID 123456 |响应代码404 2019-06-26 23:55:36信息ID 123456 |响应代码404 2019-06-26 23:23:36信息ID 258080 |响应代码404 有没有办法过滤掉前两个事件,因为它们具有相同的ID123456,并将它们视为一个事件? 我尝试了一些我知道是完全错误的东西,建议在这方面可能非常有用 index=myindex“Response

我是一个新的splunk玩家,有一些splunk事件,如下所示

2019-06-26 23:45:36信息ID 123456 |响应代码404
2019-06-26 23:55:36信息ID 123456 |响应代码404
2019-06-26 23:23:36信息ID 258080 |响应代码404

有没有办法过滤掉前两个事件,因为它们具有相同的ID
123456
,并将它们视为一个事件? 我尝试了一些我知道是完全错误的东西,建议在这方面可能非常有用


index=myindex“Response code 404”| rex field=ID max_match=2“(?\b(?:123456)\b)”|按ID MyID统计统计数据|其中计数>1

这并不是完全错误的。这是删除重复项的合法方法之一。还有一个:

index=myindex "Response Code 404"  
| rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" 
| dedup MyID
index=myindex“响应代码404”
|rex字段=ID最大匹配=2“(?\b(?:123456)\b)”
|重复数据消除MyID

使用
dedup
通常是首选,因为它不像
stats
那样删除字段。

我知道回复很晚,但如果时间戳不同,这些事件实际上不是重复事件。我更关心的是找出哪台机器在不同的时间发送两次事件(以及为什么发送),而不是消除结果。请记住,每个事件都会违反您的许可证,虽然它看起来很小,但足够多的事件加起来等于GB