从Splunk事件中筛选重复条目
我是一个新的splunk玩家,有一些splunk事件,如下所示从Splunk事件中筛选重复条目,splunk,splunk-query,Splunk,Splunk Query,我是一个新的splunk玩家,有一些splunk事件,如下所示 2019-06-26 23:45:36信息ID 123456 |响应代码404 2019-06-26 23:55:36信息ID 123456 |响应代码404 2019-06-26 23:23:36信息ID 258080 |响应代码404 有没有办法过滤掉前两个事件,因为它们具有相同的ID123456,并将它们视为一个事件? 我尝试了一些我知道是完全错误的东西,建议在这方面可能非常有用 index=myindex“Response
2019-06-26 23:45:36信息ID 123456 |响应代码404 2019-06-26 23:55:36信息ID 123456 |响应代码404 2019-06-26 23:23:36信息ID 258080 |响应代码404
有没有办法过滤掉前两个事件,因为它们具有相同的ID,并将它们视为一个事件? 我尝试了一些我知道是完全错误的东西,建议在这方面可能非常有用123456
这并不是完全错误的。这是删除重复项的合法方法之一。还有一个:index=myindex“Response code 404”| rex field=ID max_match=2“(?\b(?:123456)\b)”|按ID MyID统计统计数据|其中计数>1
index=myindex "Response Code 404" | rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" | dedup MyID
index=myindex“响应代码404” |rex字段=ID最大匹配=2“(?\b(?:123456)\b)” |重复数据消除MyID
使用通常是首选,因为它不像dedup
那样删除字段。我知道回复很晚,但如果时间戳不同,这些事件实际上不是重复事件。我更关心的是找出哪台机器在不同的时间发送两次事件(以及为什么发送),而不是消除结果。请记住,每个事件都会违反您的许可证,虽然它看起来很小,但足够多的事件加起来等于GBstats