elasticsearch 使用ELK堆栈索引文档url
我想使用logstash加载以下文档,通过弹性搜索对其进行索引: 目前,我可以使用elasticsearch为所有日志编制索引,但我不确定如何使用url为文档编制索引
elasticsearch 使用ELK堆栈索引文档url,
elasticsearch,logstash,kibana,logstash-grok,logstash-configuration,
elasticsearch,Logstash,Kibana,Logstash Grok,Logstash Configuration,我想使用logstash加载以下文档,通过弹性搜索对其进行索引: 目前,我可以使用elasticsearch为所有日志编制索引,但我不确定如何使用url为文档编制索引 这个场景是否对logstash有效,如果是,请帮助我。您可以使用logstash配置中最近出现的插件来尝试一下。输入可能如下所示: input { http_poller { urls => { myurl=> "https://www.ibm.com/support/knowledgecen
这个场景是否对logstash有效,如果是,请帮助我。您可以使用logstash配置中最近出现的插件来尝试一下。
输入
可能如下所示:
input {
http_poller {
urls => {
myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html"
}
}
request_timeout => 60
interval => 60
codec => "json" <--- to decode the results to json
}
}
输入{
http_轮询器{
URL=>{
myurl=>”https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html"
}
}
请求超时=>60
间隔=>60
编解码器=>“json”感谢您提供的信息,它似乎可以工作,但是如果我提供主url链接,那么如何加载所有数据,以便加载给定url的所有子链接/主题,假设如果我提供,它也将加载此产品的所有主题…@Akshayan,我想它不会自动从主url获取所有子url。您可能必须使用mURL属性中有多个URL。我的想法是相同的,但最好包含一些逻辑来拾取所有子链接。。。