Logstash 日志存储来自多个源的日志处理

Logstash 日志存储来自多个源的日志处理,logstash,elastic-stack,logstash-configuration,filebeat,Logstash,Elastic Stack,Logstash Configuration,Filebeat,我是麋鹿队的新手。让我解释一下我想做什么。我有一个分别为不同用户运行的应用程序,即5个不同用户将有5个相同应用程序的独立实例。我使用filebeats将日志从应用程序发送到logstash,在发送到elasticsearch之前,首先在logstash中进行处理。我想要的是编写一个应用程序,它允许用户只查看他们的应用程序实例的日志。现在,我尝试为每个用户创建一个日志存储管道,该管道使用不同的端口处理日志,并使用不同的索引名将其发送到elasticsearch。 你能建议我这是最好的做法还是我做错

我是麋鹿队的新手。让我解释一下我想做什么。我有一个分别为不同用户运行的应用程序,即5个不同用户将有5个相同应用程序的独立实例。我使用filebeats将日志从应用程序发送到logstash,在发送到elasticsearch之前,首先在logstash中进行处理。我想要的是编写一个应用程序,它允许用户只查看他们的应用程序实例的日志。现在,我尝试为每个用户创建一个日志存储管道,该管道使用不同的端口处理日志,并使用不同的索引名将其发送到elasticsearch。 你能建议我这是最好的做法还是我做错了?有没有更好的方法来做到这一点,而不必为具有单独端口的单个用户提供单独的管道?我认为我这样做是错误的,当实例数量增加时,我将更难管理


谢谢

我建议如果不涉及蒙皮、验证和浓缩,那么就完全跳过日志存储。您可以直接将filebeat日志传递给ES。现在有两条路可走。Filebeat还可以将参数(任何固定字符串)连同扫描的消息一起发送到ES,或者您可以存储Filebeat将随消息一起发送的元(如ip)源。然后,可以使用该字符串来标识日志消息的源,然后在kibana上,您可以配置为基于该固定字符串/user/meta显示仪表板。这简化了流程,避免了不必要的跳跃