elasticsearch Logstash/Elasticsearch/Kibana资源规划

如何根据负载规划资源（我怀疑是elasticsearch实例）：

我的意思是带着负荷≈500K事件/分钟，每个事件包含8-10个字段

我应该打开哪些配置旋钮？

---

我是这个堆栈的新手。

每分钟500000个事件等于每秒8333个事件，这对于一个小型集群（3-5台机器）来说应该很容易处理

将每天7.2亿份文档打开60天（43B份文档）会带来问题。如果10个字段中的每一个字段都是32字节，那就是13.8TB的磁盘空间（一个副本的磁盘空间接近28TB）

相比之下，我最多有5个节点（64GB的RAM，31GB的堆），其中1.2B个文档消耗1.2TB的磁盘空间（一个副本占用两倍的磁盘空间）。这个集群无法处理每台机器只有32GB内存的负载，但它现在对64GB的内存感到满意。这是我们10天的数据

大致上，您预期的文档数量将是我的群集的40倍，占用的磁盘空间将是我的群集的10倍

我面前没有确切的数字，但我们使用doc_值的试点项目为我们节省了大约90%的堆

如果所有这些数学都成立，并且doc_值也很好，那么就实际索引的字节而言，您可以使用类似的集群。我希望获得关于拥有这么多单独文档的开销的更多信息

我们已经做了一些elasticsearch调整，但可能还有更多的调整

---

我建议您从少量64GB的机器开始。您可以根据需要添加更多。添加两个（较小的）客户端节点作为索引和搜索请求的前端。

您将保留数据多长时间？您希望有什么样的查询负载？最终，这将取决于许多因素，你在这里只能得到（可能是受过教育的）猜测；您只需亲自尝试一下。谢谢您的评论。负载是永久性的，保留期大约为2个月。存储在这里不是问题，查询能力是关键。查询是为了仪表板，1-2个人应该同时使用它，比如说每个仪表板有20-30个可视化效果。我只是想知道，是一大堆服务器，还是谢谢。我有强大的64Gb内存机器，将重新考虑我的保留政策。假设我拥有所有这些，10台处理30Tb数据的机器，elastic cluster是否能够及时查询，每个实例大约需要扫描1.5Tb。