使用带有Cassandra的Logstash JDBC删除同步操作
我们配置了JDBCLogstash,将数据从Cassandra迁移到logstash。 我们能够将数据从Cassandra移动到logstash,我们也在基于文档id的弹性搜索中更新数据,但我们无法删除在Cassandra中删除的记录 我们正在寻找基于Cassandra中删除的弹性搜索中删除记录的配置? 最终,我们需要使用logstashjdbc同步两个数据库使用带有Cassandra的Logstash JDBC删除同步操作,jdbc,elastic-stack,cassandra-3.0,logstash-configuration,logstash-jdbc,Jdbc,Elastic Stack,Cassandra 3.0,Logstash Configuration,Logstash Jdbc,我们配置了JDBCLogstash,将数据从Cassandra迁移到logstash。 我们能够将数据从Cassandra移动到logstash,我们也在基于文档id的弹性搜索中更新数据,但我们无法删除在Cassandra中删除的记录 我们正在寻找基于Cassandra中删除的弹性搜索中删除记录的配置? 最终,我们需要使用logstashjdbc同步两个数据库 Our Configuration: # emp_id -- Primary Key in Cassandra input {
Our Configuration:
# emp_id -- Primary Key in Cassandra
input {
jdbc {
jdbc_connection_string => "jdbc:cassandra://X.X.X.X:9042/cloud"
jdbc_user => "cassandra"
jdbc_password => "cassandra"
jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/CassandraJDBC42.jar"
jdbc_validate_connection => true
jdbc_driver_class => "com.simba.cassandra.jdbc42.Driver"
statement => "SELECT * FROM cloud.employee_list"
schedule => "* * * * *"
use_column_value => true
tracking_column => "emp_id"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
document_id=> "%{emp_id}"
index => "employeelist_table2"
}
stdout { codec => rubydebug }
}
麋鹿版本-7.9.2,
爪哇8,
卡桑德拉-3.11.6