Monitoring 通过日志实时监视应用程序/服务器

是否有任何工具可以实时分析日志（自定义服务器应用程序）并通过日志输出自定义度量？可能是web界面上的一些图形

我的典型用例如下：我有一个套接字服务器接收传入的请求。每个请求都是特定的“类型”。我想查看以下信息：在过去N分钟内发生了多少个请求？请求的平均响应时间（每个记录的请求都有其响应时间）；在过去N分钟内发生了多少个单一类型的请求？等等

我知道日志项中包含的特定信息无法自动提取，我可能需要一些编码来指导工具如何解析和理解日志，以及如何从中收集信息

---

有没有工具/软件/系统/监视器可以帮助实现这一点？

是我所知道的最常用的工具，如果windows上有，请发送Jabber/XMPP消息给user@jabberserver.com将新行追加到日志时：

# tail --follow=name --retry /var/log/logfile.log | sendxmpp -i -u username -p password -j jabberserver.com user@jabberserver.com

---

必须在jabberserver.com上创建用户名/密码。user@jabberserver.com必须通过您自己编写的Jabber/XMPP客户端登录（我更喜欢perl+Net:：Jabber）。然后，您可以对传入的XMPP消息做任何您想做的事情（存储在DB上，发送电子邮件等等）。

在Ustream，我们需要一个这样的工具，所以我们写道。它是一个通用的日志解析器和处理器，可以将数据发送到StatsD，StatsD聚合您需要的数据（它支持计数器、计时数据和仪表）并发送到Graphite

简而言之，您只需编写一个配置文件，设置一个regexp解析器以匹配日志数据，并设置要使用的statsd键。您不必编写任何代码

你可以在Github上找到一个配置示例。

一个朋友说他喜欢探索他的数据堆。