Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Logging 无法理解fluentd/td代理发送机制_Logging_Rabbitmq_Amqp_Fluentd_Ubuntu 15.04 - Fatal编程技术网

Logging 无法理解fluentd/td代理发送机制

Logging 无法理解fluentd/td代理发送机制,logging,rabbitmq,amqp,fluentd,ubuntu-15.04,Logging,Rabbitmq,Amqp,Fluentd,Ubuntu 15.04,嘿,我最近在和fluentd一起工作。因此,我正在创建一个环境,在这个环境中,来自不同服务器的fluentd将向安装了fluentd的中央系统发送日志,并在其中完成日志处理 但我被困在这一点上。我无法理解它用于将日志从一个节点传输到另一个节点的机制。我还想在这里使用一些消息传递队列(如rabbitmq)来完成这项工作 我在谷歌上找不到这个问题的合适答案,我也不觉得这些文档非常适合我理解fluentd及其插件的所有内容。由于我的人际网络观念不是很强,有些事情让我不知所措。我还发现,默认情况下,它会

嘿,我最近在和fluentd一起工作。因此,我正在创建一个环境,在这个环境中,来自不同服务器的fluentd将向安装了fluentd的中央系统发送日志,并在其中完成日志处理

但我被困在这一点上。我无法理解它用于将日志从一个节点传输到另一个节点的机制。我还想在这里使用一些消息传递队列(如rabbitmq)来完成这项工作

我在谷歌上找不到这个问题的合适答案,我也不觉得这些文档非常适合我理解fluentd及其插件的所有内容。由于我的人际网络观念不是很强,有些事情让我不知所措。我还发现,默认情况下,它会将日志发送到珍宝数据,有一种方法可以禁用它。我想了解如何使用rabbitmq为我做到这一点。

  • 概述:
  • 事件生命周期:
  • 配置文件:
  • 如何管理插件:
  • 输出概述:
  • 缓冲区概述:
以下是基本文档,并解释fluentd是如何工作的。 如果要连接到rabbitmq,可以使用amqp2输出插件。使用amqp2插件只需两步。安装它并添加配置

// In fluentd gem
$ fluent-gem install fluent-plugin-amqp2
// In td-agent
$ /usr/sbin/td-agent-gem install fluent-plugin-amqp2
之后,将amqp2配置添加到
fluent.conf
td-agent.conf
。配置在插件自述中:


顺便说一句,你能告诉我更多关于
的细节吗?我无法理解这个机制?这有助于我们的文档:)

@再次感谢您的努力。我已经阅读了文档。它的文档需要更多的工作


找到了解决办法。fluentd收集器使用tcp协议直接发送日志。我已将fluentd配置为使用kafka作为消息队列。fluentd collector从日志文件中收集日志,并将其发送到kafka服务器,从该服务器将日志发送到elasticsearch。因此,使用另一个fluentd层从kafka收集日志并将其转发给elasticsearch。它工作正常。

请给我一些链接,让我可以阅读更多关于fluentd的内容,并澄清我的疑问。如果你们能帮助我理解这背后的架构和机制,我会很高兴的。