elasticsearch Grafana没有可视化日志,elasticsearch,logstash,grafana,elasticsearch,Logstash,Grafana" /> elasticsearch Grafana没有可视化日志,elasticsearch,logstash,grafana,elasticsearch,Logstash,Grafana" />

elasticsearch Grafana没有可视化日志

elasticsearch Grafana没有可视化日志,elasticsearch,logstash,grafana,elasticsearch,Logstash,Grafana,我已经安装了elasticsrarch、logstash和Grafana来可视化系统日志。 一切正常,直到昨天早上7点Grafana才停止刷新和可视化浏览器中的任何系统日志。当我前往logstash终端时,我可以看到有系统日志进入,但在终端中,但Grafana没有显示它们 以前有人遇到过这个问题吗 编辑: 这是我的logstash.conf input { syslog { port => 3014 codec => cef syslog_field =&

我已经安装了elasticsrarch、logstash和Grafana来可视化系统日志。 一切正常,直到昨天早上7点Grafana才停止刷新和可视化浏览器中的任何系统日志。当我前往logstash终端时,我可以看到有系统日志进入,但在终端中,但Grafana没有显示它们

以前有人遇到过这个问题吗

编辑: 这是我的logstash.conf

input {
  syslog {
    port => 3014
    codec => cef
    syslog_field => "syslog"
    grok_pattern => "<%{POSINT:priority}>%{TIMESTAMP_ISO8601:timestamp}"
 }
}
output {
  elasticsearch {
     hosts => ["localhost:9200"]
         index => "logstash_index"
 }
}
输入{
系统日志{
端口=>3014
编解码器=>cef
syslog_字段=>“syslog”
grok_模式=>“%{TIMESTAMP_ISO8601:TIMESTAMP}”
}
}
输出{
弹性搜索{
hosts=>[“localhost:9200”]
索引=>“日志存储索引”
}
}

我确实有一个一般性的问题。有没有办法让我的Grafana仪表板每1秒甚至更短时间刷新一次,因为要查看新的数据日志,我必须手动刷新仪表板。

在我的第一个logstash.conf配置中,我使用此代码过滤数据

input {
  udp {
    port => my-port
    type => syslog
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}
但由于我从logstash到elastic search接收所有类型的数据,这可能会在解析和筛选过程中产生问题,迫使Grafana无法检索这些数据(即使我仍然能够在终端中处理它们)。。将logstash.conf更改为:

input {
  syslog {
    port => my-port
    codec => cef
    syslog_field => "syslog"
    grok_pattern => "<%{POSINT:priority}>%{TIMESTAMP_ISO8601:timestamp}"
 }
}
output {
  elasticsearch {
     hosts => ["localhost:9200"]
         index => "logstash_index"
 }
}
输入{
系统日志{
端口=>我的端口
编解码器=>cef
syslog_字段=>“syslog”
grok_模式=>“%{TIMESTAMP_ISO8601:TIMESTAMP}”
}
}
输出{
弹性搜索{
hosts=>[“localhost:9200”]
索引=>“日志存储索引”
}
}

它解决了我的问题,现在我可以看到所有的数据。

您有关于摄入方面的任何更新吗?是否有与客户端相关的更新?@hkulekci确实解决了问题。我的格洛克模式有问题。我将用logstash.conf更新我的主题,您可能会帮助我了解为什么我的日志上有“grokparsefailure”请。@NaydenVan-很高兴您找到了解决方案。你介意把它写下来作为一个答案,也许将来能帮助其他有类似问题的人吗?