elasticsearch 数据转换和日志存储

我有一个关于logstash的建筑问题

我们有由硬件设备生成的日志文件，这些设备非常神秘。在将JSON发送到elasticsearch之前，必须进行某种转换和增强。我得到的数字数组应该被转换成可读的东西。某种枚举值转换

在进行这些转换时，事情可能会变得更加复杂。例如，每个设备都有一个配置文件，在进行转换时必须考虑这个配置文件

现在，IMO有3种意见可以实现这一点：

• 使用logstash过滤器mutate插件
• 实现我自己的logstash过滤器插件
• 使用logstash作为小型Web服务器，并预先进行转换

你在这些方面有经验吗？你喜欢什么？为什么

---

休伯特首先，我同意你的看法。您将使用某些东西（日志存储过滤器、节拍等）操纵数据，并将其转发到某个地方（elasticsearch或其他日志存储）

在我看来，日志存储对于生产服务器来说太重了。我们以前使用过，它使用了太多的资源。Elasticsearch可以处理这个问题。（我知道这不仅仅是关于这种情况。）您可以使用从文件中收集日志。在您的情况下，有一个极端的问题需要使用已经存在的问题。日志是神秘的或其他的。如果您已经能够对数据进行加密，那么可以编写一个自定义的beat来实现更简单的解决方案。我认为这可能比编写logstash插件更容易，但还有另一个挑战，那就是Golang。我不知道logstash插件，但我以前写过一篇文章。您可以选中“优秀”来创建一个

---

为系统创建节拍后，可以将日志转发到logstash。有一份关于你的文件。此外，您还可以检查中的文件配置，以获得一个真实的示例

首先，我同意你的看法。您将使用某些东西（日志存储过滤器、节拍等）操纵数据，并将其转发到某个地方（elasticsearch或其他日志存储）

在我看来，日志存储对于生产服务器来说太重了。我们以前使用过，它使用了太多的资源。Elasticsearch可以处理这个问题。（我知道这不仅仅是关于这种情况。）您可以使用从文件中收集日志。在您的情况下，有一个极端的问题需要使用已经存在的问题。日志是神秘的或其他的。如果您已经能够对数据进行加密，那么可以编写一个自定义的beat来实现更简单的解决方案。我认为这可能比编写logstash插件更容易，但还有另一个挑战，那就是Golang。我不知道logstash插件，但我以前写过一篇文章。您可以选中“优秀”来创建一个

为系统创建节拍后，可以将日志转发到logstash。有一份关于你的文件。此外，您还可以检查中的文件配置，以获得一个真实的示例