Logging 为什么需要Redis、AMQP或0MQ以及弹性搜索和日志存储？

我是弹性搜索和日志存储的初学者。在浏览了n个文档之后，我仍然搞不清楚。为什么在日志传送和索引组件之间需要一个代理。我们不能直接将日志发送到弹性搜索并开始索引吗

是的，您可以立即将日志发送到索引器。但是，使用代理有一个可伸缩性和可维护性的原因。如果索引器在某个时候过载，发送日志可能会减慢速度。此外，如果出于任何原因要重新启动索引器，可以使用代理继续发送日志。

是，您可以立即将日志发送到索引器。但是，使用代理有一个可伸缩性和可维护性的原因。如果索引器在某个时候过载，发送日志可能会减慢速度。此外，如果出于任何原因要重新启动索引器，可以使用代理继续发送日志。

消息队列

消息队列的作用是充当网关守护者，保护解析器不被过多的日志消息过载。这完全是关于解析器在一秒钟内可以处理的最大事件数，当这个速率变得太高时，日志解析器将删除事件并导致数据丢失。为了防止这种情况，必须使用消息队列

拉还是推

当您从log shipper直接向日志解析器发送日志消息时，基本上就是推送消息，希望解析器能够处理推送这些事件的速率。当您选择使用消息队列时，您允许日志解析器以其能够处理的速率提取消息。当速率过高且解析器无法提取所有消息时，它们将累积在消息队列中，一旦速率降低，解析器将提取这些消息并清除队列。消息队列是防止中央日志记录解决方案临时高负载的最佳保护

数据库危机

在极少数情况下，数据库服务器会崩溃，在这段时间内，解析器将没有可用的目标来发送其解析的日志消息。从输入端，解析器将从日志传递程序接收越来越多的消息，并开始删除它们。在这种情况下，在此期间生成的所有日志消息都将消失。 对于这种情况，消息队列是一个很好的解决方案，它允许解析器停止提取事件，并让它们在消息队列中累积。恢复到数据库的会话后，解析器将提取所有事件并发送到数据库。解析和写入如此大的队列可能需要一些时间，但最终您将能够完全访问生成的日志数据，并且不会丢失任何数据

安全层

在某些情况下，您的日志文件可能分散在数据中心之外的不同服务器之间，您希望它们将数据发送到您的集中式日志解决方案。通过使用消息队列，您将能够确保数据的安全，对其进行加密并将入站访问限制在消息队列服务器上的单个端口。考虑集中式日志解决方案的安全方面非常重要，尤其是在分布式服务器环境中。

消息队列

消息队列的作用是充当网关守护者，保护解析器不被过多的日志消息过载。这完全是关于解析器在一秒钟内可以处理的最大事件数，当这个速率变得太高时，日志解析器将删除事件并导致数据丢失。为了防止这种情况，必须使用消息队列

拉还是推

当您从log shipper直接向日志解析器发送日志消息时，基本上就是推送消息，希望解析器能够处理推送这些事件的速率。当您选择使用消息队列时，您允许日志解析器以其能够处理的速率提取消息。当速率过高且解析器无法提取所有消息时，它们将累积在消息队列中，一旦速率降低，解析器将提取这些消息并清除队列。消息队列是防止中央日志记录解决方案临时高负载的最佳保护

数据库危机

在极少数情况下，数据库服务器会崩溃，在这段时间内，解析器将没有可用的目标来发送其解析的日志消息。从输入端，解析器将从日志传递程序接收越来越多的消息，并开始删除它们。在这种情况下，在此期间生成的所有日志消息都将消失。 对于这种情况，消息队列是一个很好的解决方案，它允许解析器停止提取事件，并让它们在消息队列中累积。一旦到数据库的会话被删除，则 estored解析器将提取所有事件并将其发送到数据库。解析和写入如此大的队列可能需要一些时间，但最终您将能够完全访问生成的日志数据，并且不会丢失任何数据

安全层

在某些情况下，您的日志文件可能分散在数据中心之外的不同服务器之间，您希望它们将数据发送到您的集中式日志解决方案。通过使用消息队列，您将能够确保数据的安全，对其进行加密并将入站访问限制在消息队列服务器上的单个端口。考虑集中式日志解决方案的安全方面非常重要，尤其是在分布式服务器环境中