elasticsearch ElasticSearch FileBeat或LogStash系统日志输入建议

我计划接收来自各种网络设备的SysLog数据，但我无法直接安装beats，并试图找出最好的方法。我知道Beats的利用率越来越高，并且看到它支持接收系统日志数据，但还没有找到一个图表或解释哪种配置是向前发展的最佳实践。FileBeat看起来很吸引人，因为Cisco模块，其中一些网络设备是。要将其分解为最简单的问题，配置应该是以下模型之一还是其他模型

• 网络设备>日志存储>弹性
• 网络设备>日志存储>文件节拍>弹性
• 网络设备>文件节拍>弹性
• 网络设备>文件节拍>日志存储>弹性

当然，我们希望网络数据以弹性方式到达，但我们也在考虑其他一些外部用途，例如可能将系统日志数据发送到单独的SIEM解决方案。我知道我们可以将LogStash配置为输出到SIEM，但您能否以相同的方式从FileBeat输出，或者这是否是最终在某个时候发送到LogStash的原因

---

提前谢谢你

我们的SIEM是基于弹性的，我们尝试了几种方法，您也在描述这些方法。最后，我们在设备和elasticsearch之间使用Beats和Logstash。这就是为什么： 我们的基础设施庞大、复杂且异构。Filebeat系统日志输入仅支持BSD（rfc3164）事件和某些变量。使用上面提到的cisco解析器也消除了很多问题。剩余的、仍然未解析的事件（在我们的例子中有很多）然后由Logstash使用syslog_pri过滤器进行处理。最后，对于所有尚未被讨论的事件，我们都有一些探索

除了syslog格式之外，还有其他问题：时间戳和事件的来源。某些事件缺少任何时区信息，将通过主机名/ip映射到特定时区，从而修复时间戳偏移。其他活动有非常奇特的日期/时间格式（logstash正在注意）。其他事件包含ip，但不包含主机名。在这种情况下，我们在logstash中使用dns过滤器，以提高消息的质量（和可访问性）

我认为，您应该尝试在filebeat和logstash中尽可能多地进行预处理/解析。如果没有logstash，elasticsearch中有摄取管道，beats中有处理器，但两者都不如logstash那样完整和强大。如果您已经有了logstash，那么只会有一个新的syslog管道；）

编辑：

最后是你的SIEM。使用Beats，您的输出选项和格式非常有限。Filebeat还将您限制为单个输出。

---

在Logstash中，您甚至可以拆分/克隆事件，并使用不同的协议和消息格式将它们发送到不同的目的地

谢谢你的回复。这些信息帮助很大！我们的基础设施还没有那么庞大或复杂，但我们希望能有一些好的实践来支持这一增长。我认为您制定的组合方法很有意义，我想尝试看看它是否能适应我们的环境和用例需求，我最初认为会。再次感谢！