logstash输出到kafka-消息中的主题数据

logstash输出到kafka-消息中的主题数据,logstash,Logstash,我想为logstash创建一个conf文件,从文件中加载数据并将其发送给kafka 该文件为json格式,其中包含topicId 这就是我到目前为止所拥有的 input { file { path => "~/file1.json" start_position => "beginning" codec => "json" } } filter { json { source => message } }

我想为logstash创建一个conf文件,从文件中加载数据并将其发送给kafka

该文件为json格式,其中包含topicId

这就是我到目前为止所拥有的

input {
   file {
    path => "~/file1.json"
    start_position => "beginning"
    codec => "json"
  }
}
filter {
    json {
        source => message
    }
}
output {
  kafka { 
    bootstrap_servers => "localhost"
    codec => plain {
        format => "%{message}"
    }
    topic_id =>  "???"
  }
}
这能做到吗

问候,, 是的,这是可以做到的

例如,如果消息json包含如下主题id键:

"topicId": "topic1"
然后在logstash kafka输出插件中:

output {
  kafka { 
    bootstrap_servers => "localhost"
    codec => plain {
        format => "%{message}"
    }
    topic_id =>  "%{topicId}"
  }
}