logstash输出到kafka-消息中的主题数据
我想为logstash创建一个conf文件,从文件中加载数据并将其发送给kafka 该文件为json格式,其中包含topicId 这就是我到目前为止所拥有的logstash输出到kafka-消息中的主题数据,logstash,Logstash,我想为logstash创建一个conf文件,从文件中加载数据并将其发送给kafka 该文件为json格式,其中包含topicId 这就是我到目前为止所拥有的 input { file { path => "~/file1.json" start_position => "beginning" codec => "json" } } filter { json { source => message } }
input {
file {
path => "~/file1.json"
start_position => "beginning"
codec => "json"
}
}
filter {
json {
source => message
}
}
output {
kafka {
bootstrap_servers => "localhost"
codec => plain {
format => "%{message}"
}
topic_id => "???"
}
}
这能做到吗
问候,,
是的,这是可以做到的
例如,如果消息json包含如下主题id键:
"topicId": "topic1"
然后在logstash kafka输出插件中:
output {
kafka {
bootstrap_servers => "localhost"
codec => plain {
format => "%{message}"
}
topic_id => "%{topicId}"
}
}