查询mySQL数据库日志文件进行分析

查询mySQL数据库日志文件进行分析,mysql,database,logfile-analysis,Mysql,Database,Logfile Analysis,我们有mySQL数据库的日志文件,我们希望使用这些日志文件进行分析(数据挖掘、机器学习等) 我对这个很陌生 你能告诉我怎么做吗?根据你的需求,有很多工具对你有用 但是为什么要直接使用MySQL日志而不是DB,或者在用户与界面交互时,让您正在搜索的详细信息转到DB中的一个新的“信息挖掘”表中呢。这可能会更强大 如果您希望确定插入/查询的速率。 实际上,您可以将MySQL设置为将这些类型的事件记录到不同的文件中(因此部分工作已经完成,而不必挖掘所有事件的完整日志文件)。 否则,您将需要使用诸如Gre

我们有mySQL数据库的日志文件,我们希望使用这些日志文件进行分析(数据挖掘、机器学习等) 我对这个很陌生


你能告诉我怎么做吗?

根据你的需求,有很多工具对你有用

但是为什么要直接使用MySQL日志而不是DB,或者在用户与界面交互时,让您正在搜索的详细信息转到DB中的一个新的“信息挖掘”表中呢。这可能会更强大

如果您希望确定插入/查询的速率。 实际上,您可以将MySQL设置为将这些类型的事件记录到不同的文件中(因此部分工作已经完成,而不必挖掘所有事件的完整日志文件)。 否则,您将需要使用诸如Grep之类的工具

除此之外,您还有一个名为Lucerne(来自apache)的系统,该系统将挖掘数据并搜索关键字。它们有各种不同的钩子用于进入Java、C和其他语言。这与谷歌搜索网页的方式非常相似

否则,如果您打算“在”数据库中挖掘数据,那么日志显然不是您的最佳调用点


日志还将包含大量关于用户的信息。IP地址可能更复杂,但您可以交叉引用运行查询的用户的名称和常规服务器日志,以确定连接的IP。

我认为您需要更清楚地了解如何使用日志文件。大多数操作都可以使用bash命令实现,比如grep等。感谢DaveM,我使用Python,现在我想访问(解析)mySQL数据库的日志文件以检索数据。您能给我一些指示吗?@user2863110您需要访问数据库中存储的信息吗?如果是这样,则不需要访问日志文件,只需将查询直接发送到数据库(在SQL中)。否则,您希望从日志中提取什么样的详细信息?在原始问题中添加更多信息以澄清。@DaceM:请阅读此问题并告诉我您的想法。@user2863110:dudu,必须道歉,我也从未做过类似的工作。我建议您尝试使用python来制定解决方案,然后当您收到错误消息时,将其和代码放入您的问题中。