elasticsearch 重新设置日志存储状态,elasticsearch,logstash,elasticsearch,Logstash" /> elasticsearch 重新设置日志存储状态,elasticsearch,logstash,elasticsearch,Logstash" />

elasticsearch 重新设置日志存储状态

elasticsearch 重新设置日志存储状态,elasticsearch,logstash,elasticsearch,Logstash,我目前正在开发并使用以下logstash代理配置: input { file { type => "access_log" # Wildcards work, here :) path => [ "/root/isaac/vuforia_logs/access_logs/gw_access_log.2014-02-19.00.log"] start_position => "beginning" } } filter { i

我目前正在开发并使用以下logstash代理配置:

input {
  file {
    type => "access_log"

    # Wildcards work, here :)
    path => [ "/root/isaac/vuforia_logs/access_logs/gw_access_log.2014-02-19.00.log"]

    start_position => "beginning"
  }


} 

filter {
 if [type] == "access_log" {
  grok { 
    pattern  => "\[%{DATA:my_timestamp}\] %{IP:client} %{WORD:method} %{URIPATHPARAM:request} \[%{DATA:auth_data}\] \[%{DATA:another_timstamp}\] %{NUMBER:result_code} %{NUMBER:duration} %{NUMBER:bytes}"
  }
 }
}



output {
  stdout { debug => true }
  elasticsearch_http { 
        host => "192.168.79.128"
        }
第一次读取文件时,它将处理该文件并登录到stdout和elasticsearch。问题是,当我重新启动logstash时,它不会做任何事情,我认为这是因为它保持了logstash上次停止的最后一个位置。我对重置logstash很感兴趣,这样它可以从一开始就重新处理文件。这是出于开发和测试目的,是否有方法重置/清除日志存储状态


Thx

Logstash将为输入文件记录sincedb。默认路径是$HOME目录。您可以访问以了解更多信息


如果要重置/清理它,可以删除$HOME中的所有.sincedb_*文件。然后,当您重新启动logstash时,它将从头开始读取

对于那些使用
jdbc
来到这里的人,您需要
last\u run\u metadata\u path


Ref:

Thx有很多有用的东西。这救了我一命!