elasticsearch 如何在AWS Elasticsearch中使用logstash加载,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 如何在AWS Elasticsearch中使用logstash加载,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 如何在AWS Elasticsearch中使用logstash加载

elasticsearch 如何在AWS Elasticsearch中使用logstash加载,elasticsearch,logstash,elasticsearch,Logstash,我在logsatsh的输出插件中没有找到任何合适的文档,我确实找到了将数据加载到AWS ES中的文档 输出插件只讲HTTP协议。如果不指定端口9200,我们可以在AWS ES中加载数据吗 input { jdbc { jdbc_connection_string => "jdbc:mysql://localhost/elasticsearch" jdbc_user => "root"

我在logsatsh的输出插件中没有找到任何合适的文档,我确实找到了将数据加载到AWS ES中的文档

输出插件只讲HTTP协议。如果不指定端口9200,我们可以在AWS ES中加载数据吗

   input {
            jdbc {
                jdbc_connection_string => "jdbc:mysql://localhost/elasticsearch"
                jdbc_user => "root"
                jdbc_password => "empower"
                #jdbc_validate_connection => true
                jdbc_driver_library => "/home/wtc082/Documents/com.mysql.jdbc_5.1.5.jar"
                jdbc_driver_class => "com.mysql.jdbc.Driver"
                statement => "SELECT * FROM index_part_content_local LIMIT 10;"
                schedule => "1 * * * *"
                #codec => "json"
            }
        }

    output {
        elasticsearch {
            index => "mysqltest"
            document_type => "mysqltest_type"
            document_id => "%{partnum}"
            hosts => "AWSURI"
        }
    }

我们可以这样做吗?

事实上,当我使用log stash 5.X版本时,我正在使用log stash 2.4将数据从Mysql加载到ES 5.X版本,它解决了我的问题。我在运行conf文件时没有收到任何错误


谢谢Val

如果您尝试,会发生什么?如果未指定,您可能需要指定端口80,因为它默认为9200。Hi val,当我使用本地ES运行此conf文件时,其工作正常,当加载到AWS ES时,其给我以下错误[400]{“error”:{“root_cause”:[{“type”:“invalid_type_name_exception”,“reason”:“文档映射类型名称不能以”“”“开头,找到:[\u模板]”}],“类型”:“无效的\u类型\u名称\u异常”,“原因”:“文档映射类型名称不能以”“”“开头,找到:[\u模板]”,“状态”:400}{:class=>“Elasticsearch::Transport::Errors::BadRequest”,:level=>:error}”它给出了上述错误,但数据已成功加载到AWS中,我们是否可以忽略此错误或我做错了什么错误从来都不是一件好事。您在本地使用的ES版本是什么?您在AWS上使用的是哪一个版本?