Logstash 在Kibana中,我有一些字段包含问号“?”,没有显示在公制字段中

Logstash 在Kibana中,我有一些字段包含问号“?”,没有显示在公制字段中,logstash,elastic-stack,kibana-6,Logstash,Elastic Stack,Kibana 6,在Kibana中,我的字段包含问号?。目标是创建一个过滤器,以排除字段中包含问号的所有条目。因此,当我试图使用术语创建聚合下的度量时,标记中的那些字段在那里不可见,请帮助新手理解 下面是logstash.conf和我使用的过滤器以及我附带的屏幕截图,请建议我犯了什么错误以及可以做什么 我有麋鹿版本:6.2.x # cat logstash-syslog.conf input { file { path => [ "/scratch/rsyslog/*/messages.log"

在Kibana中,我的字段包含问号
。目标是创建一个过滤器,以排除字段中包含问号的所有条目。因此,当我试图使用
术语
创建聚合下的度量时,
标记中的那些字段在那里不可见,请帮助新手理解

下面是
logstash.conf
和我使用的过滤器以及我附带的屏幕截图,请建议我犯了什么错误以及可以做什么

我有麋鹿版本:6.2.x

# cat logstash-syslog.conf
input {
  file {
    path => [ "/scratch/rsyslog/*/messages.log" ]
    type => "syslog"
  }
  file {
    path => [ "/scratch/rsyslog/Aug/messages.log" ]
    type => "apic_logs"
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp } %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
 }
}
  if [type] == "apic_logs" {
    grok {
      match => { "message" => "%{CISCOTIMESTAMP:syslog_timestamp} %{CISCOTIMESTAMP} %{SYSLOGHOST:syslog_hostname} (?<prog>[\w._/%-]+) %{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f5} %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
   }
 }
}
output {
        if [type] == "syslog" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "syslog-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

output {
        if [type] == "apic_logs" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "apic_logs-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}
#cat logstash-syslog.conf
输入{
文件{
path=>[“/scratch/rsyslog/*/messages.log”]
类型=>“系统日志”
}
文件{
path=>[“/scratch/rsyslog/Aug/messages.log”]
类型=>“apic_日志”
}
}
滤器{
如果[类型]=“系统日志”{
格罗克{
match=>{“message”=>“%{SYSLOGTIMESTAMP:syslog\u timestamp}%{SYSLOGHOST:syslog\u hostname}%{DATA:syslog\u program}(?:\[%{POSINT:syslog\u pid}])?:%{greedyddata:syslog\u message}
add_field=>[“received_at”,“%{@timestamp}”]
删除_字段=>[“@version”,“host”,“message”,“_type”,“_index”,“_score”,“path”]
}
syslog_pri{}
日期{
匹配=>[“系统日志\u时间戳”,“MMM d HH:mm:ss”,“MMM dd HH:mm:ss”]
}
}
如果[type]=“apic_日志”{
格罗克{
match=>{“message”=>“%{CISCOTIMESTAMP:syslog_timestamp}%{CISCOTIMESTAMP}%{SYSLOGHOST:syslog_hostname}(?[\w.\/%-]+)%{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f4}%{greeddata:syslog_message
add_field=>[“received_at”,“%{@timestamp}”]
删除_字段=>[“@version”,“host”,“message”,“_type”,“_index”,“_score”,“path”]
}
}
}
输出{
如果[类型]=“系统日志”{
弹性搜索{
主机=>“诺伊达麋鹿:9200”
管理_模板=>false
index=>“syslog-%{+YYYY.MM.dd}”
文档类型=>“消息”
}
}
}
输出{
如果[type]=“apic_日志”{
弹性搜索{
主机=>“诺伊达麋鹿:9200”
管理_模板=>false
索引=>“apic_日志-%{+YYYY.MM.dd}”
文档类型=>“消息”
}
}
}

我解决了我的问题

为什么我会看到这个符号?按Kibana发现页面中的字段 在Kibana中打开“发现”页面时,您可能会看到一个问号?“可用字段”部分中列出的字段,而不是字符t。重新加载字段列表时,将分析字段的类型,并且问号是?替换为字符t

确保选中下面屏幕截图最右侧的框
包括系统索引

重新排列表中的字段列 可以重新排列表中的字段列。将鼠标悬停在要移动的列的标题上,然后单击“向左移动列”按钮或“向右移动列”按钮

重新加载字段列表 完成以下步骤以重新加载Kibana中显示的字段列表:

选择管理页面,然后选择索引模式以列出可用的索引

选择空间的索引模式,以查看Elasticsearch记录的每个字段和字段的关联核心类型

单击“重新加载字段列表”按钮“重新加载字段列表”以重新加载索引模式字段

字段列表已刷新。

我解决了我的问题

为什么我会看到这个符号?按Kibana发现页面中的字段 在Kibana中打开“发现”页面时,您可能会看到一个问号?“可用字段”部分中列出的字段,而不是字符t。重新加载字段列表时,将分析字段的类型,并且问号是?替换为字符t

确保选中下面屏幕截图最右侧的框
包括系统索引

重新排列表中的字段列 可以重新排列表中的字段列。将鼠标悬停在要移动的列的标题上,然后单击“向左移动列”按钮或“向右移动列”按钮

重新加载字段列表 完成以下步骤以重新加载Kibana中显示的字段列表:

选择管理页面,然后选择索引模式以列出可用的索引

选择空间的索引模式,以查看Elasticsearch记录的每个字段和字段的关联核心类型

单击“重新加载字段列表”按钮“重新加载字段列表”以重新加载索引模式字段


字段列表将被刷新。

如果您正在使用kibana,请确保在重新创建索引后正在刷新它,尤其是在向其添加新字段时。此刷新可在Kibana的管理部分针对每个索引模式进行


“?”-表示可用的列,但在刷新之前不是弹性索引的一部分。

如果使用kibana,请确保在重新创建索引后正在刷新它,特别是在向其添加新字段时。此刷新可在Kibana的管理部分针对每个索引模式进行

“?”-表示可用的列,但在执行刷新之前不是弹性索引的一部分