elasticsearch Logstash:使用日志文件的行号作为文档id
我想将Logstash的
elasticsearch Logstash:使用日志文件的行号作为文档id,
elasticsearch,logstash,
elasticsearch,Logstash,我想将Logstash的文档\u id设置为日志文件的行号,如下所示:(仅供参考,我需要这样做的原因如图所示) 例如,如果日志文件为: 64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291 64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax
文档\u id
设置为日志文件的行号,如下所示:(仅供参考,我需要这样做的原因如图所示)
例如,如果日志文件为:
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 200 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
我希望3个文档的document\u id
分别为0、1和2
在我的场景中,仅从一个日志文件生成一个Elasticsearch索引。它保证这样的文档\u id
不会在一个索引中重复
有没有办法做到这一点?谢谢。根据这里的答案:,现在不可能。但有一个悬而未决的问题:。因此,在未来的版本中,这可能是可能的。了解如何修改文件输入插件或编写自己的输入插件
64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291
64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 200 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253