elasticsearch Elasticseach&；Kibana-可视化一年的最佳实践'；圆木

我使用ElasticSearch和Kibana来存储和可视化日志中的数据。我知道习惯上使用Logstash，但我只使用ElasticSearchRESTAPI并向其发布新元素

考虑到我每天大约有5万条日志，并且我希望有时每周、有时每月、有时每年都能看到数据，我正在努力寻找关于如何管理我的索引的最佳实践。而且我不需要超过一个节点。我不需要高可用性集群

所以我基本上是想确定： -我应该如何按时间存储索引？月刊每周？什么都有一个索引？ -大型索引（包含我所有数据的索引）的缺点是什么？这是否意味着整个索引都在内存中

---

谢谢。

我想将索引与数据保留策略相匹配。日志文件的每日索引工作得很好，因此在保留X天后，您可能会过期一天

索引/碎片越少，Elasticsearch管理它们的开销中使用的RAM就越少

将字段添加到索引时，字段的映射将被冻结。使用每日索引，我可以更新映射并使其对新索引生效，然后等待旧索引过期。对于长期索引，您可能需要对数据重新编制索引，这是我一直试图避免的

创建索引时，碎片和副本的设置也会冻结

无论它们是如何存储的，都可以在Kibana中可视化它们。使用@timestamp字段作为X轴，并将“间隔”更改为所需的周期

如果你想改变你的日志，那么使用logstash是很重要的。我们对新字段进行了大量的规范化和创建，因此非常有用。如果这不是您的要求，您还可以查看filebeats，它可以直接写入elasticsearch

---

大量考虑…

我喜欢将索引与数据保持策略相匹配。日志文件的每日索引工作得很好，因此在保留X天后，您可能会过期一天

索引/碎片越少，Elasticsearch管理它们的开销中使用的RAM就越少

将字段添加到索引时，字段的映射将被冻结。使用每日索引，我可以更新映射并使其对新索引生效，然后等待旧索引过期。对于长期索引，您可能需要对数据重新编制索引，这是我一直试图避免的

创建索引时，碎片和副本的设置也会冻结

无论它们是如何存储的，都可以在Kibana中可视化它们。使用@timestamp字段作为X轴，并将“间隔”更改为所需的周期

如果你想改变你的日志，那么使用logstash是很重要的。我们对新字段进行了大量的规范化和创建，因此非常有用。如果这不是您的要求，您还可以查看filebeats，它可以直接写入elasticsearch

---

请考虑……很好，谢谢。如果我不需要高可用性，碎片有什么意义吗？碎片是否有助于提高搜索效率？您的意思是我应该将日志消息发布为：curl-XPOST localhost:9200/log-15March2016/log-d'{@timestamp:…，…}'您的索引必须至少有一个碎片（数据就在那里！）。有了一个节点，就不需要复制碎片了。如果您添加了更多的节点，则可以并行搜索额外的碎片，但必须合并结果。如答案中所述，更频繁的索引允许您更轻松地更改映射或碎片设置。Kibana将查询elasticsearch，以查找您给定的任何日期范围。Kibana甚至将“过去5年”作为一个选择（当然，假设你加载了那么多数据）。太好了，谢谢。如果我不需要高可用性，碎片有什么意义吗？碎片是否有助于提高搜索效率？您的意思是我应该将日志消息发布为：curl-XPOST localhost:9200/log-15March2016/log-d'{@timestamp:…，…}'您的索引必须至少有一个碎片（数据就在那里！）。有了一个节点，就不需要复制碎片了。如果您添加了更多的节点，则可以并行搜索额外的碎片，但必须合并结果。如答案中所述，更频繁的索引允许您更轻松地更改映射或碎片设置。Kibana将查询elasticsearch，以查找您给定的任何日期范围。Kibana甚至将“过去5年”作为一个选项（当然，假设您加载了那么多数据）。