Logstash 日志存储文件输入未重新格式化文件
我有以下问题,我需要logstash来重新分析已解析的文件: 不起作用但应:Logstash 日志存储文件输入未重新格式化文件,logstash,Logstash,我有以下问题,我需要logstash来重新分析已解析的文件: 不起作用但应: 将文件上载到关注的文件夹 logstash处理它,保存到elastic,删除它(文件\u completed\u action=>“log\u and\u delete”),很棒 我再次上传相同的文件,相同的名字,相同的内容 logstash什么都没做我想让它再处理一次 这是我的文件输入配置: 由于已将路径设置为/dev/null,它不应该记住已处理的文件,还尝试将忽略旧路径设置为0,但没有帮助 还尝试了修改log
- 将文件上载到关注的文件夹
- logstash处理它,保存到elastic,删除它(文件\u completed\u action=>“log\u and\u delete”),很棒
- 我再次上传相同的文件,相同的名字,相同的内容
- logstash什么都没做我想让它再处理一次 这是我的文件输入配置:
由于已将路径设置为/dev/null,它不应该记住已处理的文件,还尝试将忽略旧路径设置为0,但没有帮助
还尝试了修改logstash.yml中的队列设置,将其更改为persistent,但无效
我使用的是运行在linux机器上的logstash版本7.5,logstash输入文件(4.1.11)
当我重新启动logstash时,未处理的文件将得到处理和清理。
我需要它在不重新启动的情况下工作
file {
mode => "read"
exclude => "*.tif"
path => ["/home/xmls/*.xml"]
file_completed_action => "log_and_delete"
file_completed_log_path => "/var/log/logstash/completed.log"
sincedb_path => "/dev/null"
start_position => "beginning"
codec => multiline {
pattern => ".*"
what => "previous"
max_lines => 100000
max_bytes => "200 MiB"
}
type => "my-custom-type-1"
}