elasticsearch 大数据分析。Elasticsearch、Logstash、Kibana、MRTG

因此，我必须想出一种方法，让大量数据为用户“可读”，并想知道是否有人能指出使用elasticsearch+kibana与使用MRTG之类的方法之间的区别。

---

什么更适合于更关注趋势的数据分析？

您提到的两种方法适用于截然不同的数据类型

如果您的数据由一系列常规时间戳度量值组成，例如来自路由器接口的5分钟流量采样，或来自温度传感器的1分钟采样，那么MRTG（或者更确切地说，是后端数据库的RRDTool）非常适合这样做。如果数据是不规则的，仍然有可能，不过您需要在一定程度上自定义RRDTool数据库设置，以避免出现较大的“未知”区域。RRDTool能够对您正在记录的度量进行趋势分析，尽管这不是通过MRTG完成的——您需要直接调用RRDTool函数

如果您的数据是一个不规则的文本日志条目（事件）序列，可能包含可解析的位置数据，并且在深入查看单个事件之前，您对事件的数量或速率更感兴趣，那么Logstash/Kibana是一个不错的选择。他们会给你一段时间内事件发生率的图表，但我认为他们不能提供趋势分析。此外，它们不提供嵌入事件日志文本中的解析数据的图形分析。Logstash/kibana非常适用于Syslog、Eventlog、应用程序日志（如Apache日志）等，在这些日志中，您更感兴趣的是查看一段时间内发生了多少与特定模式匹配的事件

---

您没有提供足够的关于数据实际性质的信息，也没有提供用户所需的“可读”分析类型的信息，因此这必然是功能的高级总结。

Elasticsearch对于存储结构化数据（如文本）是有效的。Logstash的用例是如何为有效查询构造数据的示例

MRTG/RRD是一种用于测量时间间隔数据的工具。每X时间单位，日志值Y。MRTG/RRD对于存储文本无效，它的工作不涉及Elasticsearch的用例

<>石墨可能是一个工具，如果你已经有一个LogSTASH安装并运行。Logstash可以向Graphite或Statsd触发事件，并将事件数据存储在ElasticSearch中。石墨/碳的优点在于，它与时间间隔没有关系，与MRTG无关。您可以随意或不频繁地将信息发射到石墨中

---

您在另一个答案中给出的用例将是对石墨或类似工具的出色使用。您可以在Graphite中绘制和报告许多基于值的事件，然后使用Elasticsearch将数据关联回事件。（我不是说有ES和Graphite的集成，只是如果你使用Logstash推送事件，时间会很容易查找。）

我可以给你一个例子：我从一种设备上获取数据，我知道一段时间内有多少检查和违规（时间段由我选择，具体取决于我如何聚合数据以及它的时间戳）。我希望对此进行图形化并解释数据，以便我们能够识别模式以避免大问题（太多的违规行为，没有限制检查）。感谢您的回答。如果您有一些时间戳数据，通常是定期的，并且有自上次采样以来的违规计数，那么这对于使用“绝对”数据类型的MRTG/RRDTool来说是完美的，它可以将其转换为违规率/秒，您可以随时间进行汇总和图表。但是，如果您有ge每次违规都会生成一个日志条目，那么Elasticsearch可能更合适。谢谢你的帮助！我想我刚刚意识到你在问Kibana基于事件查询的绘图能力，是吗？