高峰时段的Filebeat/logstash队列消息

我有一台运行Elasticsearch、Logstash和Kibana的服务器。传入消息使用Filebeat从大约10个远程服务器推送到该服务器

来自10台主机的流量相当“突发”，在高峰时间，我预计传入的请求将在15分钟内达到每分钟100k条记录

我的问题是，如果logstash无法处理每分钟100k个请求，filebeat会开始限制还是继续向远程logstash服务器发送请求

另外，如果麋鹿服务器关闭或不可用，消息是否丢失，或者Filebeat是否会等到麋鹿服务器再次可用后再开始发送消息

---

我查看了Filebeat文档，似乎找不到这些问题的答案。感谢您的指点。

Filebeat是一种基于连接的服务，它确保在发送日志之前可以与服务器对话，并等待日志存储确认这些日志。此外，如果Logstash无法跟上，beats输入插件将检测到“管道减速”，并通知Filebeat暂时退出

---

我会看看是否能找到这些事实的官方参考资料。

Filebeat是一种基于连接的服务，它确保在发送日志之前可以与服务器进行对话，并等待Logstash确认这些日志。此外，如果Logstash无法跟上，beats输入插件将检测到“管道减速”，并通知Filebeat暂时退出

---

我看看是否能找到这些事实的官方参考资料。

根据我的经验，您应该使用Kafka或Redis作为传输层，以确保在Logstash关闭时，您的数据不会在场景中丢失。感谢您的评论，我已将我的单个Logstash管道拆分为两个，Redis充当两者之间的队列，以吸收请求中的任何峰值。根据我的经验，您应该使用Kafka或Redis作为传输层，以确保在Logstash关闭时，您的数据不会在场景中丢失。感谢您的评论，我已将单个Logstash管道拆分为两个，Redis充当两者之间的队列，以吸收请求中的任何峰值。