Logstash 在Kibana中,我有一些字段包含问号“?”,没有显示在公制字段中
在Kibana中,我的字段包含问号Logstash 在Kibana中,我有一些字段包含问号“?”,没有显示在公制字段中,logstash,elastic-stack,kibana-6,Logstash,Elastic Stack,Kibana 6,在Kibana中,我的字段包含问号?。目标是创建一个过滤器,以排除字段中包含问号的所有条目。因此,当我试图使用术语创建聚合下的度量时,标记中的那些字段在那里不可见,请帮助新手理解 下面是logstash.conf和我使用的过滤器以及我附带的屏幕截图,请建议我犯了什么错误以及可以做什么 我有麋鹿版本:6.2.x # cat logstash-syslog.conf input { file { path => [ "/scratch/rsyslog/*/messages.log"
?
。目标是创建一个过滤器,以排除字段中包含问号的所有条目。因此,当我试图使用术语创建聚合下的度量时,标记中的那些字段在那里不可见,请帮助新手理解
下面是logstash.conf
和我使用的过滤器以及我附带的屏幕截图,请建议我犯了什么错误以及可以做什么
我有麋鹿版本:6.2.x
# cat logstash-syslog.conf
input {
file {
path => [ "/scratch/rsyslog/*/messages.log" ]
type => "syslog"
}
file {
path => [ "/scratch/rsyslog/Aug/messages.log" ]
type => "apic_logs"
}
}
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp } %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
}
syslog_pri { }
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
if [type] == "apic_logs" {
grok {
match => { "message" => "%{CISCOTIMESTAMP:syslog_timestamp} %{CISCOTIMESTAMP} %{SYSLOGHOST:syslog_hostname} (?<prog>[\w._/%-]+) %{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f5} %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
}
}
}
output {
if [type] == "syslog" {
elasticsearch {
hosts => "noida-elk:9200"
manage_template => false
index => "syslog-%{+YYYY.MM.dd}"
document_type => "messages"
}
}
}
output {
if [type] == "apic_logs" {
elasticsearch {
hosts => "noida-elk:9200"
manage_template => false
index => "apic_logs-%{+YYYY.MM.dd}"
document_type => "messages"
}
}
}
#cat logstash-syslog.conf
输入{
文件{
path=>[“/scratch/rsyslog/*/messages.log”]
类型=>“系统日志”
}
文件{
path=>[“/scratch/rsyslog/Aug/messages.log”]
类型=>“apic_日志”
}
}
滤器{
如果[类型]=“系统日志”{
格罗克{
match=>{“message”=>“%{SYSLOGTIMESTAMP:syslog\u timestamp}%{SYSLOGHOST:syslog\u hostname}%{DATA:syslog\u program}(?:\[%{POSINT:syslog\u pid}])?:%{greedyddata:syslog\u message}
add_field=>[“received_at”,“%{@timestamp}”]
删除_字段=>[“@version”,“host”,“message”,“_type”,“_index”,“_score”,“path”]
}
syslog_pri{}
日期{
匹配=>[“系统日志\u时间戳”,“MMM d HH:mm:ss”,“MMM dd HH:mm:ss”]
}
}
如果[type]=“apic_日志”{
格罗克{
match=>{“message”=>“%{CISCOTIMESTAMP:syslog_timestamp}%{CISCOTIMESTAMP}%{SYSLOGHOST:syslog_hostname}(?[\w.\/%-]+)%{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f4}%{greeddata:syslog_message
add_field=>[“received_at”,“%{@timestamp}”]
删除_字段=>[“@version”,“host”,“message”,“_type”,“_index”,“_score”,“path”]
}
}
}
输出{
如果[类型]=“系统日志”{
弹性搜索{
主机=>“诺伊达麋鹿:9200”
管理_模板=>false
index=>“syslog-%{+YYYY.MM.dd}”
文档类型=>“消息”
}
}
}
输出{
如果[type]=“apic_日志”{
弹性搜索{
主机=>“诺伊达麋鹿:9200”
管理_模板=>false
索引=>“apic_日志-%{+YYYY.MM.dd}”
文档类型=>“消息”
}
}
}
我解决了我的问题
为什么我会看到这个符号?按Kibana发现页面中的字段
在Kibana中打开“发现”页面时,您可能会看到一个问号?“可用字段”部分中列出的字段,而不是字符t。重新加载字段列表时,将分析字段的类型,并且问号是?替换为字符t
确保选中下面屏幕截图最右侧的框包括系统索引
重新排列表中的字段列
可以重新排列表中的字段列。将鼠标悬停在要移动的列的标题上,然后单击“向左移动列”按钮或“向右移动列”按钮
重新加载字段列表
完成以下步骤以重新加载Kibana中显示的字段列表:
选择管理页面,然后选择索引模式以列出可用的索引
选择空间的索引模式,以查看Elasticsearch记录的每个字段和字段的关联核心类型
单击“重新加载字段列表”按钮“重新加载字段列表”以重新加载索引模式字段
字段列表已刷新。我解决了我的问题
为什么我会看到这个符号?按Kibana发现页面中的字段
在Kibana中打开“发现”页面时,您可能会看到一个问号?“可用字段”部分中列出的字段,而不是字符t。重新加载字段列表时,将分析字段的类型,并且问号是?替换为字符t
确保选中下面屏幕截图最右侧的框包括系统索引
重新排列表中的字段列
可以重新排列表中的字段列。将鼠标悬停在要移动的列的标题上,然后单击“向左移动列”按钮或“向右移动列”按钮
重新加载字段列表
完成以下步骤以重新加载Kibana中显示的字段列表:
选择管理页面,然后选择索引模式以列出可用的索引
选择空间的索引模式,以查看Elasticsearch记录的每个字段和字段的关联核心类型
单击“重新加载字段列表”按钮“重新加载字段列表”以重新加载索引模式字段
字段列表将被刷新。如果您正在使用kibana,请确保在重新创建索引后正在刷新它,尤其是在向其添加新字段时。此刷新可在Kibana的管理部分针对每个索引模式进行
“?”-表示可用的列,但在刷新之前不是弹性索引的一部分。如果使用kibana,请确保在重新创建索引后正在刷新它,特别是在向其添加新字段时。此刷新可在Kibana的管理部分针对每个索引模式进行
“?”-表示可用的列,但在执行刷新之前不是弹性索引的一部分