elasticsearch 如何在AWS Elasticsearch中使用logstash加载
我在logsatsh的输出插件中没有找到任何合适的文档,我确实找到了将数据加载到AWS ES中的文档 输出插件只讲HTTP协议。如果不指定端口9200,我们可以在AWS ES中加载数据吗elasticsearch 如何在AWS Elasticsearch中使用logstash加载,elasticsearch,logstash,elasticsearch,Logstash,我在logsatsh的输出插件中没有找到任何合适的文档,我确实找到了将数据加载到AWS ES中的文档 输出插件只讲HTTP协议。如果不指定端口9200,我们可以在AWS ES中加载数据吗 input { jdbc { jdbc_connection_string => "jdbc:mysql://localhost/elasticsearch" jdbc_user => "root"
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://localhost/elasticsearch"
jdbc_user => "root"
jdbc_password => "empower"
#jdbc_validate_connection => true
jdbc_driver_library => "/home/wtc082/Documents/com.mysql.jdbc_5.1.5.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
statement => "SELECT * FROM index_part_content_local LIMIT 10;"
schedule => "1 * * * *"
#codec => "json"
}
}
output {
elasticsearch {
index => "mysqltest"
document_type => "mysqltest_type"
document_id => "%{partnum}"
hosts => "AWSURI"
}
}
我们可以这样做吗?事实上,当我使用log stash 5.X版本时,我正在使用log stash 2.4将数据从Mysql加载到ES 5.X版本,它解决了我的问题。我在运行conf文件时没有收到任何错误
谢谢Val如果您尝试,会发生什么?如果未指定,您可能需要指定端口80,因为它默认为9200。Hi val,当我使用本地ES运行此conf文件时,其工作正常,当加载到AWS ES时,其给我以下错误[400]{“error”:{“root_cause”:[{“type”:“invalid_type_name_exception”,“reason”:“文档映射类型名称不能以”“”“开头,找到:[\u模板]”}],“类型”:“无效的\u类型\u名称\u异常”,“原因”:“文档映射类型名称不能以”“”“开头,找到:[\u模板]”,“状态”:400}{:class=>“Elasticsearch::Transport::Errors::BadRequest”,:level=>:error}”它给出了上述错误,但数据已成功加载到AWS中,我们是否可以忽略此错误或我做错了什么错误从来都不是一件好事。您在本地使用的ES版本是什么?您在AWS上使用的是哪一个版本?