elasticsearch 使用logstash从弹性搜索中删除数据或文档
我试图使用logstash配置删除弹性搜索数据或文档,但删除似乎不起作用。 我使用的是Logstash5.6.8版本 以下是日志存储配置文件:
elasticsearch 使用logstash从弹性搜索中删除数据或文档,
elasticsearch,logstash,document,logstash-jdbc,
elasticsearch,Logstash,Document,Logstash Jdbc,我试图使用logstash配置删除弹性搜索数据或文档,但删除似乎不起作用。 我使用的是Logstash5.6.8版本 以下是日志存储配置文件: ```input { jdbc { #db configuration ''' statement => " select * from table " } output { elasticsearch { action => "delete" hosts =
```input {
jdbc {
#db configuration
'''
statement => " select * from table "
}
output {
elasticsearch {
action => "delete"
hosts => "localhost"
index => "myindex"
document_type => "doctype"
document_id => "%{id}"
}
stdout { codec => json_lines }
}```
但是上面的配置是删除my db表中存在的id,而不是删除不存在的id。
当我使用logstash从db同步到elastic search时,我希望db中删除的行也同步,并且应该是一致的
我还尝试了以下配置,但出现了一些错误:
```input {
jdbc {
#db configuration
'''
statement => " select * from table "
}
output {
elasticsearch {
action => "delete"
hosts => "localhost"
index => "myindex"
document_type => "doctype"
}
stdout { codec => json_lines }
}```
日志存储控制台中出错:
“当前调用”=>“[…]/vendor/bundle/jruby/1.9/gems/stud-0.0.23/lib/stud/interval.rb:89:insleep'}
[2019-12-27T16:30:16087][WARN][logstash.SHUTDOWWATCHER]{“飞行中的线程数”=>9,“暂停线程信息”=>{“其他”=>[{“线程id”=>22,“名称”=>“[main]>worker0”,“当前调用”=>“[…]/vendor/bundle/jruby/1.9/gems/stud-0.0.23/lib/stud/interval.rb:89:in
sleep'}]
[2019-12-27T16:30:18623][ERROR][logstash.outputs.elasticsearch]遇到可检索错误。将使用指数回退重试{:code=>400,:url=>“”
[2019-12-27T16:30:21086][WARN][logstash.shutdownwatcher]{“飞行中的线程计数”=>9,“暂停线程信息”=>{“其他”=>[{“线程id”=>22,“名称”=>“[main]>worker0”,“当前调用”=>“[…]/vendor/bundle/jruby/1.9/gems/stud-0.0.23/lib/stud/interval.rb:89:“睡眠中”}}
有人能告诉我如何删除文档和同步数据库数据,或者如何在弹性搜索中处理删除的记录吗