elasticsearch,aws-elasticsearch,Amazon Web Services,elasticsearch,Aws Elasticsearch" /> elasticsearch,aws-elasticsearch,Amazon Web Services,elasticsearch,Aws Elasticsearch" />

Amazon web services Elasticsearch大型群集与较小群集在数据量相对较小时的比较

Amazon web services Elasticsearch大型群集与较小群集在数据量相对较小时的比较,amazon-web-services,elasticsearch,aws-elasticsearch,Amazon Web Services,elasticsearch,Aws Elasticsearch,目前我们有3个独立的环境,4个Elasticsearch集群。此外,我们有两个不同的用例,在其中,我们通过客户数据搜索相似性,我们有我们搜索的日志 阅读elasticsearch文档和在线视频讨论,建议针对您的用例优化集群,因此从技术上讲,我们应该有4 x 2=8单独的集群。一些集群可以根据生产集群和非生产集群进行分组。但实际上我们是一个小团队,

目前我们有3个独立的环境,4个Elasticsearch集群。此外,我们有两个不同的用例,在其中,我们通过客户数据搜索相似性,我们有我们搜索的日志

阅读elasticsearch文档和在线视频讨论,建议针对您的用例优化集群,因此从技术上讲,我们应该有
4 x 2=8
单独的集群。一些集群可以根据生产集群和非生产集群进行分组。但实际上我们是一个小团队,<10人,在大多数集群中没有分配数据,因此在所有集群中运行
3个主节点
成本太高

尽管Elastic似乎建议每个用例使用一个集群,以便在IMO中优化索引和碎片大小,但我相信,如果我们只使用1个集群,或者至少减少到2个集群(prod&nonprod),我们将获得更好的性能和稳定性。我们的维护开销也会减少,我在每个环境中都会收到CloudWatch警报,有保存的对象需要从一个环境转移到另一个环境,我已经成为管理所有这些的人,这最终会造成死力的分配


所以我的问题是,尽管集群应该根据最佳实践的每个用例进行调优,但当您的数据只有几GiB时,这仍然有意义吗?考虑到管理方面的开销,以及与没有主节点的微集群之间的稳定性权衡?

ES集群由节点(最重要的是数据和主节点)组成,并且不像您只能在集群级别进行优化那样,您可以根据您的用例轻松微调索引和碎片级别

在您的情况下,您没有太多的数据,因此只有2个env(prod和non-prod env.)是有意义的,以避免集群管理开销,并应用最佳实践,如出于高可用性原因有3个主节点


当需要根据索引所服务的数据和用例进行优化时,您可以对其进行优化,例如,对于读取量大的索引,有更多副本是有意义的,对于索引量大的操作,您可能希望将刷新间隔(def 1秒)增加到更高的值。

感谢您的提示,什么是刷新间隔?@Snickers3192希望你喜欢,请参考更多关于刷新间隔的信息,在我提供的链接中,你可以找到更多关于优化索引、搜索和索引速度的信息。