Logstash卡夫卡输出
我正试图用Logstash向卡夫卡发送一些“信息” 我的问题是消息是以字符串“{message}”而不是消息的形式发送的 这是我的配置:Logstash卡夫卡输出,logstash,Logstash,我正试图用Logstash向卡夫卡发送一些“信息” 我的问题是消息是以字符串“{message}”而不是消息的形式发送的 这是我的配置: input { jdbc { jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx" jdbc_user => "xxx" jdbc_password => "xxx" jdbc_driver_library => "
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx"
jdbc_user => "xxx"
jdbc_password => "xxx"
jdbc_driver_library => "mysql-connector-java-5.1.41.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
schedule => "* * * * *"
statement => "SELECT * from a WHERE updated_at > :sql_last_value order by updated_at"
use_column_value => true
tracking_column => updated_at
}
output {
kafka {
codec => plain {
format => "%{message}"
}
topic_id => "mytopic"
}
file {
codec => json_lines
path => "/tmp/output_a.log"
}
}
正如我上面提到的,当我深入研究卡夫卡消息时,我看到的是“{message}”,而不是select。。。如果我打开/tmp/output_a.log,结果就在那里
有什么建议吗
$bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytopic --from-beginning
%{message}
2017-06-21T15:14:00.336Z %{host} %{message} (<- I tried here to remove the codec)
%{message}
$bin/kafka-console-consumer.sh--引导服务器localhost:9092--主题mytopic--从头开始
%{message}
2017-06-21T15:14:00.336Z%{host}%{message}(
kafka {
codec => json_lines
topic_id => "mytopic"
}
如果要避免json开销,请尝试只使用行