elasticsearch 如何在Logstash配置中动态添加更多Kafka主题,elasticsearch,apache-kafka,logstash,elasticsearch,Apache Kafka,Logstash" /> elasticsearch 如何在Logstash配置中动态添加更多Kafka主题,elasticsearch,apache-kafka,logstash,elasticsearch,Apache Kafka,Logstash" />

elasticsearch 如何在Logstash配置中动态添加更多Kafka主题

elasticsearch 如何在Logstash配置中动态添加更多Kafka主题,elasticsearch,apache-kafka,logstash,elasticsearch,Apache Kafka,Logstash,有没有选择如何添加到logstash kafka输入多个kafka主题?我正在寻找动态解决方案,因为我的主题数量正在发生变化 我的日志存储配置如下所示: input { kafka { bootstrap_servers => "localhost:9092" topics => ["company0","company1","company2","company3","company4"] } } output { elasticsearch

有没有选择如何添加到logstash kafka输入多个kafka主题?我正在寻找动态解决方案,因为我的主题数量正在发生变化

我的日志存储配置如下所示:

input {
    kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["company0","company1","company2","company3","company4"]
    }
} 
output {
   elasticsearch {
      hosts => ["localhost:9200"]
      index => "indextry"
      workers => 1
    }
}
在这个解决方案中,我使用了5个卡夫卡主题,但在另一个例子中,我想使用20个

是否有任何动态解决方案可以在此处添加卡夫卡主题?

Logstash支持使用
主题模式
配置

kafka {
    bootstrap_servers => "localhost:9092"
    topics_pattern => ["company.*"]
}

此配置将使用以“company”开头的每个主题。

解决方案是否必须使用logstash?如果您使用Kafka Connect,则可以使用正则表达式等指定多个源主题。不,它不。。但目前我正在Windows上工作,我尝试制作一些Kafka Connect elastic接收器,但没有成功。请随意发布另一个关于Kafka Connect问题的问题,我可以回答,可以在Windows上运行它,并制作一个管道,该管道还可以将JSON消息编码到AVRO并发送到elastic和in elastic把它解码回来?