Logstash 在多个日志存储管道之间共享基于Java的缓存

Logstash 在多个日志存储管道之间共享基于Java的缓存,logstash,Logstash,我们想创建一个logstash插件,插件的目的是丰富通过logstash的数据流 这个插件需要调用外部数据源(即Elasticsearch)来获取用于进行扩展的数据。这些数据可能会在我们拥有的多条管道之间使用 我们希望创建一个缓存系统,这样我们就不会调用过多的ES 问题是 Logstash似乎有一个预先存在的插件,用于缓存来自JDBC数据源的数据,我们可以使用类似的Elastic插件吗 如果没有,是否有一种方法可以创建在不同管道之间共享的单例缓存对象,这些管道可以通过Java插件访问 您似乎

我们想创建一个logstash插件,插件的目的是丰富通过logstash的数据流

这个插件需要调用外部数据源(即Elasticsearch)来获取用于进行扩展的数据。这些数据可能会在我们拥有的多条管道之间使用

我们希望创建一个缓存系统,这样我们就不会调用过多的ES

问题是

  • Logstash似乎有一个预先存在的插件,用于缓存来自JDBC数据源的数据,我们可以使用类似的Elastic插件吗

  • 如果没有,是否有一种方法可以创建在不同管道之间共享的单例缓存对象,这些管道可以通过Java插件访问


  • 您似乎试图绕过单独管道的目的,这样做可能会破坏It的数据完整性。看起来您需要某种代理来处理缓存,iso直接调用Elastic本身