Logging 无法理解fluentd/td代理发送机制
嘿,我最近在和fluentd一起工作。因此,我正在创建一个环境,在这个环境中,来自不同服务器的fluentd将向安装了fluentd的中央系统发送日志,并在其中完成日志处理 但我被困在这一点上。我无法理解它用于将日志从一个节点传输到另一个节点的机制。我还想在这里使用一些消息传递队列(如rabbitmq)来完成这项工作 我在谷歌上找不到这个问题的合适答案,我也不觉得这些文档非常适合我理解fluentd及其插件的所有内容。由于我的人际网络观念不是很强,有些事情让我不知所措。我还发现,默认情况下,它会将日志发送到珍宝数据,有一种方法可以禁用它。我想了解如何使用rabbitmq为我做到这一点。Logging 无法理解fluentd/td代理发送机制,logging,rabbitmq,amqp,fluentd,ubuntu-15.04,Logging,Rabbitmq,Amqp,Fluentd,Ubuntu 15.04,嘿,我最近在和fluentd一起工作。因此,我正在创建一个环境,在这个环境中,来自不同服务器的fluentd将向安装了fluentd的中央系统发送日志,并在其中完成日志处理 但我被困在这一点上。我无法理解它用于将日志从一个节点传输到另一个节点的机制。我还想在这里使用一些消息传递队列(如rabbitmq)来完成这项工作 我在谷歌上找不到这个问题的合适答案,我也不觉得这些文档非常适合我理解fluentd及其插件的所有内容。由于我的人际网络观念不是很强,有些事情让我不知所措。我还发现,默认情况下,它会
- 概述:
- 事件生命周期:
- 配置文件:
- 如何管理插件:
- 输出概述:
- 缓冲区概述:
// In fluentd gem
$ fluent-gem install fluent-plugin-amqp2
// In td-agent
$ /usr/sbin/td-agent-gem install fluent-plugin-amqp2
之后,将amqp2配置添加到fluent.conf
或td-agent.conf
。配置在插件自述中:
顺便说一句,你能告诉我更多关于
的细节吗?我无法理解这个机制?这有助于我们的文档:)@再次感谢您的努力。我已经阅读了文档。它的文档需要更多的工作
找到了解决办法。fluentd收集器使用tcp协议直接发送日志。我已将fluentd配置为使用kafka作为消息队列。fluentd collector从日志文件中收集日志,并将其发送到kafka服务器,从该服务器将日志发送到elasticsearch。因此,使用另一个fluentd层从kafka收集日志并将其转发给elasticsearch。它工作正常。请给我一些链接,让我可以阅读更多关于fluentd的内容,并澄清我的疑问。如果你们能帮助我理解这背后的架构和机制,我会很高兴的。