elasticsearch Logstash-ElasticSearch-Kibana::延迟10秒或更长时间
我部署了一个默认的“elasticsearch”(ubuntu 14.04,ES v1.2)堆栈,从redis到Kibana 我正在发送一个带有当前发送日期的@now值,Elasticsearch分配他自己的@timestamp 嗯,如果你计算(@timestamp-@now),将有超过10秒(有时甚至一分钟)的延迟/延迟 这是正常的行为吗?我没有对我的实例进行太多的调优,但是我只发送了很少的事件,而且看起来没有性能/内存/IO方面的问题elasticsearch Logstash-ElasticSearch-Kibana::延迟10秒或更长时间,elasticsearch,redis,logstash,kibana,elasticsearch,Redis,Logstash,Kibana,我部署了一个默认的“elasticsearch”(ubuntu 14.04,ES v1.2)堆栈,从redis到Kibana 我正在发送一个带有当前发送日期的@now值,Elasticsearch分配他自己的@timestamp 嗯,如果你计算(@timestamp-@now),将有超过10秒(有时甚至一分钟)的延迟/延迟 这是正常的行为吗?我没有对我的实例进行太多的调优,但是我只发送了很少的事件,而且看起来没有性能/内存/IO方面的问题 欢迎您提供任何提示。您至少有5个软件(您没有提到您正在使
欢迎您提供任何提示。您至少有5个软件(您没有提到您正在使用的发货人) 首先,在查看结果时,确保一切都“温暖”。logstash和elasticsearch是基于JVM的,因此需要担心所有的开销。在开始测量任何东西之前,我通常会给他们2分钟的时间 其次,寻找缓冲区大小,这可能会在像您这样的低容量环境中造成更大的影响。您的托运人是否发送每封邮件或每批邮件(logstash在用作redis托运人时默认为每批50份文档)?从redis读取时会怎样(默认值为1,但可以更改)?从logstash发送到elasticsearch如何(默认值为1000,但每秒也刷新一次) 整个供应链上的硬件怎么样?CPU利用率?内存分配?SSD与旋转磁盘?网络延迟?垃圾收集 您对发货人或索引器进行了多少过滤?很多糟糕的正则表达式 甚至是最基本的——时钟设置是否相同
[我已经看到SO警察建议这应该是一个评论,而不是一个答案。但是,你会注意到OP研究中提到的具体事情,以及有很多旋钮需要转动的教训。]谢谢!我将研究缓冲区,因为我每秒发送大约3条消息,以及时钟细节。它是一个小型t2实例(AWS),带有SSD、完整的CPU和内存。logstash、redis和my nodejs进程(shipper?)中没有过滤(regexp)。解决了问题:ntp不工作。阅读