elasticsearch 更改Filebeat配置以添加字段,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat" /> elasticsearch 更改Filebeat配置以添加字段,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat" />

elasticsearch 更改Filebeat配置以添加字段

elasticsearch 更改Filebeat配置以添加字段,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat,我第一次尝试使用filebeat.yml文件。因为,原木是在另一个国家被记录的,有时我会看到原木能见度突然上升。可能是(不确定),因为以前这些服务对于ES群集的日志不在线。无论如何,我只想获取日期和时间,并在kibana日志中将其显示为一个字段。 对于解决方案,我尝试以下脚本处理器: - script: lang: javascript id: my_filter tag: enable source: > function

我第一次尝试使用filebeat.yml文件。因为,原木是在另一个国家被记录的,有时我会看到原木能见度突然上升。可能是(不确定),因为以前这些服务对于ES群集的日志不在线。无论如何,我只想获取日期和时间,并在kibana日志中将其显示为一个字段。 对于解决方案,我尝试以下脚本处理器:

- script:
      lang: javascript
      id: my_filter
      tag: enable
      source: >
        function process(event) {
            var str = event.Get("event.message");
            var time = str.split(" ").slice(1,3).join("@");
            event.Put("event.start_time",time);
        }
  - timestamp:
   #format the start_time layouts then assign to @timestamp
      field: start_time
      layouts:
        -'2006-01-02@15:04:05.999'
我注意到,, 在
消息中:[hsjdfjsdgf-23hjsbdf-2346dsad][2020-11-25 22:31:16.795][INFO]
但是@timestamp是
2020年12月16日
。因此,服务命中的计数是非常不同的。我需要删除任何内容并重新启动吗


此外,我花了很多时间来编写这个脚本,并与之斗争以获得正确的语法。因为,我将编写大量的
if-else
并根据条件对其进行切片,有没有更简单的方法呢?

您是直接将数据从filebeat发送到elasticsearch,还是使用logstash组件写入elasticsearch集群?@YLR only filebeat。我也知道了,但它看起来不像filebeat格式。我建议您在filebeat>elastic之间设置一个logstash,以便能够处理/过滤您的数据流。请记住,filebeat必须在主机上具有尽可能小的占用空间,如果您需要进程/筛选器或其他“繁重”操作,则filebeat端不存在该占用空间(试想一下,如果您必须在每个filebeat代理上更新此占用空间,这可能是一项艰巨而漫长的任务)@YLR我可以不使用解剖处理器吗?我正在努力,但在基巴纳没有出现田地。你能帮忙吗?