Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
<img src="//i.stack.imgur.com/RUiNP.png" height="16" width="18" alt="" class="sponsor tag img">elasticsearch Elasticsearch群集设计,每天可处理约200克日志_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Logging_Lucene_Kibana_Nosql - Fatal编程技术网 elasticsearch Elasticsearch群集设计,每天可处理约200克日志,elasticsearch,logging,lucene,kibana,nosql,elasticsearch,Logging,Lucene,Kibana,Nosql" /> elasticsearch Elasticsearch群集设计,每天可处理约200克日志,elasticsearch,logging,lucene,kibana,nosql,elasticsearch,Logging,Lucene,Kibana,Nosql" />

elasticsearch Elasticsearch群集设计,每天可处理约200克日志

elasticsearch Elasticsearch群集设计,每天可处理约200克日志,elasticsearch,logging,lucene,kibana,nosql,elasticsearch,Logging,Lucene,Kibana,Nosql,我已经创建了ES集群(版本5.4.1),其中包含4个数据节点、3个主节点和一个客户端节点(kibana) 数据节点是r4.2xlarge aws实例(61g内存,8vCPU),为ES JAVA分配了30G内存 我们每天写大约200克日志,并将其保存14天 我正在寻找对集群的建议,以提高集群性能,特别是搜索性能(kibana) 更多数据节点?更多客户端节点?更大的节点?更多的复制品?任何可以提高性能的东西都是一种选择 是否有人拥有与此设计或负载相近的产品? 我很高兴听到其他设计和负载 谢谢, 摩什

我已经创建了ES集群(版本5.4.1),其中包含4个数据节点、3个主节点和一个客户端节点(kibana)

数据节点是r4.2xlarge aws实例(61g内存,8vCPU),为ES JAVA分配了30G内存

我们每天写大约200克日志,并将其保存14天

我正在寻找对集群的建议,以提高集群性能,特别是搜索性能(kibana)

更多数据节点?更多客户端节点?更大的节点?更多的复制品?任何可以提高性能的东西都是一种选择

是否有人拥有与此设计或负载相近的产品? 我很高兴听到其他设计和负载

谢谢, 摩什

  • 你用了多少碎片?默认值为5?这甚至是一个相当不错的数字。根据你问谁,碎片应该在10G到50G之间;日志用例可能更倾向于50GB
  • 您希望加快哪些查询?它们主要针对最近的数据还是较长的时间跨度?如果您主要对最近的数据感兴趣,那么可以在热-热体系结构中使用不同的节点类型。为具有最新数据和较少数据的节点提供更大的功率;在功能较弱的节点上存储大量较旧且访问频率较低的数据
  • 一般来说,你需要找到你的瓶颈。我想免费看看Kibana和Elasticsearch的情况
  • 胡乱猜测:你在IO上受到限制。与EBS相比,您更喜欢本地磁盘;与旋转磁盘相比,您更喜欢SSD;如果可以的话,您可以为该用例获得尽可能多的IOPS

  • 你用了多少碎片?默认值为5?这甚至是一个相当不错的数字。根据你问谁,碎片应该在10G到50G之间;日志用例可能更倾向于50GB
  • 您希望加快哪些查询?它们主要针对最近的数据还是较长的时间跨度?如果您主要对最近的数据感兴趣,那么可以在热-热体系结构中使用不同的节点类型。为具有最新数据和较少数据的节点提供更大的功率;在功能较弱的节点上存储大量较旧且访问频率较低的数据
  • 一般来说,你需要找到你的瓶颈。我想免费看看Kibana和Elasticsearch的情况
  • 胡乱猜测:你在IO上受到限制。与EBS相比,您更喜欢本地磁盘;与旋转磁盘相比,您更喜欢SSD;如果可以的话,您可以为该用例获得尽可能多的IOPS。

    1)每天160G-170G的一个大索引(6个碎片,1个副本)和1-3G的其他较小索引(2个碎片,1个副本)我们正在处理查询持续时间中的性能延迟,我正在寻找对集群的建议,以提高集群性能,特别是搜索性能-查询持续时间(kibana)。2) 不是特定的查询,我希望总体上提高查询性能。3) 好的,我会检查监视器插件。感谢,+11)每天160G-170G的一个大索引(6个碎片,1个副本)和1-3G的其他较小索引(2个碎片,1个副本)。我们正在处理查询持续时间中的性能延迟,我正在寻找对我们的集群的建议,以提高集群性能,特别是搜索性能-查询持续时间(kibana)。2) 不是特定的查询,我希望总体上提高查询性能。3) 好的,我会检查监视器插件。谢谢,+1