Kubernetes 从卡夫卡那里获取日志并发送给洛基

希望你们在这次流感大流行期间一切都好

我有一个kubernetes集群在运行。POD之间的通信是通过卡夫卡完成的。它当前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕

我想设置一个grafana实例，使我能够集中所有日志。存储将是Loki+S3

为了做到这一点，我发现许多人使用Fluentd、FluentBit和Promtail等工具，这些工具将日志集中起来并发送给Loki。然而，我已经有卡夫卡在运行。如果我可以通过“日志”主题将所有日志发送给卡夫卡，我不明白为什么我会使用fluentd之类的工具

我的问题是：如何将日志主题中的所有消息发送给Loki？Fluentd无法从kafka获取输入

---

我是否需要设置一些定期运行的脚本，对数据进行排序并将其直接发送给loki？

我建议您使用promtail，因为promtail也来自Grafana，而不是使用kafka解决方案

如果您将应用程序中的日志发送到kafka，则您需要：

• 修改你的应用程序以发送到卡夫卡而不是stdout
• 配置日志转发器，将kafka上的消息发送给loki（可以是fluentd）

如果您使用一种正常的建议方法，您需要：

• 配置日志转发器以将消息从docker stdout发送到loki（您可以使用promtail默认配置）

---

但是如果你想在中间使用卡夫卡的解决方案，有一些FrUntD插件来配置卡夫卡作为输入和输出。p> 你是说你应该可以直接登录卡夫卡而不是stdout？我不确定Docker/Kubernetes是否支持。。。如果您想要的话，您需要使用fluentd将数据输入Kafka，但之后，您需要一个Kafka消费者向Loki写入数据，所以Kafka只是作为缓冲池，它必须支持它，不是吗？我只需要向我的记录器（python应用程序）添加一个处理程序。我一定没看见什么。我的ideia目前是通过python直接登录到kafka，创建一个消费者，并使用“in_exec”插件在fluentd中运行它