Statistics 使用数据挖掘/统计进行日志监视

我有一大组日志文件，我想对它们进行描述，或者可能添加某种决策树或某种分析。但我不知道到底是什么。你对日志文件做了什么样的分析，很多日志文件

例如，到目前为止，我正在收集对给定日志文件的特定页面的请求数量

Servlet=60个请求 Servlet2=70个请求等

---

我猜就在那里，只过滤最流行的请求。另外，在2小时内可能会执行60个请求。60/160分钟。

决定做什么分析取决于你试图根据分析做出什么决定。例如，我当前监视应用程序报告的异常日志（客户端应用程序中的所有异常都与服务器一起记录），以确定哪些是要调查的高优先级客户端错误。我还使用日志搜索软件来监视服务器软件报告的任何异常，这些异常可能需要立即进行调查。在所有东西生成的日志之上，我还使用一些监控软件来跟踪我们的web服务器和数据库服务器的使用情况，这些服务器在数据库中记录使用情况统计数据等。其最终目的是预测未来的使用水平，并根据需要购买更多硬件以满足需求

我一直在使用的两个（免费）工具是：

对于监视，它的设置非常简单，并且可以开始记录您可能感兴趣的大量数据，即web服务器上每秒的请求

对于搜索日志文件，它非常容易设置和使用，并为您提供了出色的日志文件搜索功能。如果您现在正在处理日志文件，并且还没有试用过splunk，我绝对推荐它。我注意到，在我们的主生产服务器上使用它时，有几次出现了100%cpu的情况，因此最近停止在该机器上运行它，这只是一个警告

---

我不确定您的分析目的是什么，我一直在寻找我应该知道的任何错误，并规划未来的容量需求。如果您对后者感兴趣，我也推荐。

决定做什么分析取决于您试图根据该分析做出什么决定。例如，我当前监视应用程序报告的异常日志（客户端应用程序中的所有异常都与服务器一起记录），以确定哪些是要调查的高优先级客户端错误。我还使用日志搜索软件来监视服务器软件报告的任何异常，这些异常可能需要立即进行调查。在所有东西生成的日志之上，我还使用一些监控软件来跟踪我们的web服务器和数据库服务器的使用情况，这些服务器在数据库中记录使用情况统计数据等。其最终目的是预测未来的使用水平，并根据需要购买更多硬件以满足需求

我一直在使用的两个（免费）工具是：

对于监视，它的设置非常简单，并且可以开始记录您可能感兴趣的大量数据，即web服务器上每秒的请求

对于搜索日志文件，它非常容易设置和使用，并为您提供了出色的日志文件搜索功能。如果您现在正在处理日志文件，并且还没有试用过splunk，我绝对推荐它。我注意到，在我们的主生产服务器上使用它时，有几次出现了100%cpu的情况，因此最近停止在该机器上运行它，这只是一个警告

---

我不确定您的分析目的是什么，我一直在寻找我应该知道的任何错误，并规划未来的容量需求。如果您对后者感兴趣，我也推荐。

它们是什么类型的日志文件？Apache、/var/log/messages、Windows事件等…？您是如何悬赏一个新问题的？它们是什么类型的日志文件？Apache、/var/log/messages、Windows事件等…？你是如何在一个新问题上悬赏的？