Statistics 如何实时可视化日志文件?

Statistics 如何实时可视化日志文件?,statistics,visualization,logging,Statistics,Visualization,Logging,有时它可能很有用,但大多数情况下,可视化日志文件(从http请求到bandwith用法,再到每天喝几杯咖啡)看起来很酷或令人印象深刻。 我知道我觉得这看起来有点傻,然后就有了 如何实时“可视化”日志文件?使用SciTe、记事本++或其他功能强大的文本编辑器(具有文件处理例程),您可以创建一个脚本,对日志的部分进行着色,或者只从中删除一些不重要的行您可以查看Apache Chainsaw。这个漂亮的工具可以从几乎每个地方获得日志收入,并具有实时过滤和记录功能。如果你有一个已经写好的日志,我不确定它

有时它可能很有用,但大多数情况下,可视化日志文件(从http请求到bandwith用法,再到每天喝几杯咖啡)看起来很酷或令人印象深刻。 我知道我觉得这看起来有点傻,然后就有了


如何实时“可视化”日志文件?

使用SciTe、记事本++或其他功能强大的文本编辑器(具有文件处理例程),您可以创建一个脚本,对日志的部分进行着色,或者只从中删除一些不重要的行

您可以查看Apache Chainsaw。这个漂亮的工具可以从几乎每个地方获得日志收入,并具有实时过滤和记录功能。如果你有一个已经写好的日志,我不确定它是否可以阅读,自从我上次使用它已经有一段时间了(这对于我们JBoss服务器的原型设计阶段非常有用)

谷歌已经发布了,它可能足够灵活,可以帮助你:

GoogleVisualization API允许您访问可显示的多个结构化数据源,从大量可视化选择中进行选择。GoogleVisualizationAPI还提供了一个平台,可以用来创建、共享和重用由开发人员社区编写的可视化


它需要一些Javascript知识,包括Google文档集成、电子表格集成。查看以获取一些示例。

我们使用和Perl脚本来解析日志文件,并创建摘要报告和“数据库”(从技术上讲,数据库是指每一行对应一个独特的事件,其中包含关于该事件的许多列数据,但不是以传统的数据库格式存储的。我们正朝着这个方向前进)。我喜欢Awk,因为您可以使用regex快速搜索日志文件中的特定字符串,保留计数器并从日志文件条目中收集数据,并使用这些数据进行各种计算。然后使用您最喜欢的绘图软件。我们使用Excel,主要是因为在我开始这项工作之前这里就是这样。我更喜欢MATLAB,它是基于gnuplot构建的开源软件。

还有logstalgia工具。可视化Apache日志。有关更多详细信息和youtube视频,请参阅。

我更喜欢可视化数据。基本上,您可以对它抛出任何日志文件,它不仅会自动检测其结构*,还将决定如何分析它。即使您有一个自定义的日志文件,您仍然可以定义分析和可视化的内容和方式。

您可以看看这个。3D realtime vis应用程序

我主要用来可视化数据,但我也听说过。

不确定它是否适合这个问题,但我刚刚发布了这个:

它使用Python的
matplotlib
,其动机是需要在调试C内核循环缓冲区操作(和变量)的上下文中可视化syslog数据;它通过使用CSV文件格式作为日志文件数据的中介来可视化(我不能简单地解释它-查看自述文件了解更多细节)


它有一个在终端中访问的“step”播放器,可以处理“live”
stdin
输入,但不幸的是,当plot渲染时,我无法获得比1fps更好的响应,所以我不会真正将其称为“realtime”(实时)本身,但您可以使用它最终生成plot动画的音频视频

一个简单的解决方案是与轻量级应用程序一起使用

首先安装上面的。然后,从站点的根文件夹中,通过以下方式实时可视化日志:

$ ws --log-format default | logstalgia -
您可以在以下位置进行测试:(只是认为您的答案缺少与您建议的工具的链接)