elasticsearch ElasticSearch/Logstash数据缺口

我使用最小的日志存储设置和Syslog输入从三个远程系统收集执行数据

这很好，但有时存在数据缺口。原始日志文件中的某些可用日志条目无法用于ElasticSearch

我的问题是，当负载增加时，Logstash是否会丢弃数据

如果是，我想知道：

在我的案例中如何确认这一点。有没有办法监控日志存储 对于这样的数据丢失？Logstash会抛出错误或类似错误吗

避免此类数据差距的建议。我已经降低了成本 生成的日志事件的频率。我想下一步是 采用此处提出的一种缩放方法：

谢谢，

---

Michail

当前版本的logstash（1.x）有一个非常小的管道队列，如果它变得拥挤，将不会接受更多的消息。对于文件{}输入，这不是问题，因为文件将继续位于磁盘上，等待logstash恢复。对于没有缓冲区的syslog，消息将丢失

当前的建议是在两者之间放置一个代理（redis、rabbitmq），当日志存储拥挤时，代理会增长

---

据说logstash 2.0有一个真正的管道缓存，因此不需要额外的代理。

检查logstash自己的日志。1.5是1.x，不是2.0。是的，对@Alain Collins