Logstash Graylog:GELF UDP性能不好

Logstash Graylog:GELF UDP性能不好,logstash,graylog2,graylog,gelf,Logstash,Graylog2,Graylog,Gelf,我有一个Graylog安装,可以处理超过25.000 msg/秒 我现在正在尝试建立一个专用的日志存储集群。比如说: Filebeat(n个主机)->日志存储群集->灰色日志 现在最大的问题是,我不能从一台主机向Graylog发送超过每秒2.500条消息。不管主机有多大(4、8、16,…CPU),不管消息有多小,都有2.500 msg/sec的限制 我甚至创建了只有1字节负载的消息,这里的限制是~2.800 msg/秒 例如,我可以从4个不同的主机发送消息。产生10.000味精/秒(4 x 2.

我有一个Graylog安装,可以处理超过25.000 msg/秒

我现在正在尝试建立一个专用的日志存储集群。比如说: Filebeat(n个主机)->日志存储群集->灰色日志

现在最大的问题是,我不能从一台主机向Graylog发送超过每秒2.500条消息。不管主机有多大(4、8、16,…CPU),不管消息有多小,都有2.500 msg/sec的限制

我甚至创建了只有1字节负载的消息,这里的限制是~2.800 msg/秒

例如,我可以从4个不同的主机发送消息。产生10.000味精/秒(4 x 2.500)。Graylog可以很容易地处理这个问题


所以我的问题是:为什么一台主机通过GELF UDP发送的消息不能超过~2.500 msg/秒?

网络管道的大小可能?“logstash群集”表示多个实例,您在单个主机上有多少个实例?@Val:我在每个主机上有一个logstash实例。更多信息:我编写了一个小Python脚本,将GELF格式的UDP消息发送到Graylog。我很容易地做到每秒发送15000条消息。所以瓶颈很可能是Logstash-GELF输出插件,或者Logstash&GELF输出插件的组合,或者类似的东西。很可能这不是操作系统/网络限制。那么集群中有多少个日志存储主机?此时,显示一些相关的filebeat/logstash会很有用configuration@Val:日志存储实例的数量是动态的(->自动缩放)。但我设定的最小值是3。也尝试使用最少5或6或xyz。同样的结果。我还用日志消息预先填充了Redis主机,并将其配置为Logstash的输入(以便我可以尽可能快地读取消息)。但它只能每秒向Graylog发送约2.500 msg。