elasticsearch ElasticSearch到Kafka事件-在每次更改时使用Logstash

最终目标：连接Elasticsearch和kafka，并接收ES索引中与kafka相关的持续更改事件。从卡夫卡，我有听众做进一步的处理

方法：我使用Logstash输入和输出插件。这是配置代码

input {
        elasticsearch {
                hosts => ["localhost:9200"]
                index => "liferay-20116"
        }
}
output {
      kafka {
        topic_id => "elastic-topic-index"
        codec => json
      }
}

它正在工作，但有一个奇怪的问题

当我听卡夫卡时，它会从ES中读取所有的文档，目前大约有176个文档

一旦它读了，它会停止一段时间，比如说2秒钟，然后再次读取整个176个文档

我不知道问题出在哪里，这是因为藏匿行为还是卡夫卡的行为怪异

---

任何帮助都将不胜感激

这是这个插件的标准行为-它将数据匹配推送到给定的查询。如果您只想更改文档，唯一的解决方法是建立您自己更改内容的知识-例如，您需要为条目设置时间戳，然后将此知识合并到发送给ES的查询中。

这是此插件的标准行为-它将数据匹配推送到给定查询。如果您只想更改文档，唯一的解决方法是建立您自己更改内容的知识-例如，您需要为条目设置时间戳，然后将此知识合并到发送给ES的查询中。

我没有使用Logstash就解决了这一问题

我正在使用ElasticSearch插件，它会在每次更改时作为web套接字发出事件

---

参考资料：

我没有使用Logstash就找到了答案

我正在使用ElasticSearch插件，它会在每次更改时作为web套接字发出事件

---

参考资料：

你是说它的ElasticSearch输入插件，它每176个文档（比如说每2秒）向卡夫卡推送数据？我认为这应该发生在ES有任何变化时，不是每2秒左右。我不知道为什么插件每2秒推一次，但插件只是执行查询-它不知道ES有什么变化。谢谢。我真的弄明白了。这肯定行不通。在同一个网站上写一篇博文并分享：）那么你是指它的ElasticSearch输入插件，它每176个文档（比如每2秒）向卡夫卡推送数据？我认为这应该发生在ES有任何变化时，不是每2秒左右。我不知道为什么插件每2秒推一次，但插件只是执行查询-它不知道ES有什么变化。谢谢。我真的弄明白了。这肯定行不通。在同一个网站上撰写博客文章并将共享：）如果匹配查询，是否发送传入文档？在本例中，请查看如果匹配查询，是否要发送传入文档？在这种情况下，请看