使用python连续处理日志文件并提取所需数据

我必须分析一个日志文件，它将连续24*7生成。因此，数据将是巨大的。我将拥有生成日志文件的凭据。但是，我如何获得流数据（我的意思是像任何免费工具或流程一样），以便在python代码中使用它从日志流中提取一些必需的信息，并且必须用这些数据准备一个实时仪表板。请说明实现上述任务的一些可能性。

您可以通过导入以下内容在python代码中创建记录器：

import logging
logging.basicConfig(filename='example.log', level=logging.DEBUG) # Creates log file

在此基础上，您可以使用记录器根据您希望执行的任务的重要性跟踪程序中的特定任务：

logging.info("Stream data recorded successfully")  # Reports events occuring
logging.debug("Running Diagnostics") # Can be used for detailed diagnostic tracking
logging.warning("Unknown File: " + filename) # Issues warnings about runtime events
logging.error("An issue occurred") # reports error without raising an exception

收集完所有这些数据后，您可以解析日志以查找要在实时仪表板中使用的特定消息（例如，仅解析错误和警告），而不必显示发送到日志记录器的每条消息。也就是说，python有一个可用的工具，可以使用pip轻松安装：

pip install pylogsparser

如果您希望通过python代码手动解析，那么这个来自的文件对于根据您的特定项目开始和修改非常有用

---

还有更多关于logger on的信息，下面是一个帮助您入门的示例。我希望这个解释能帮助您入门。

您可以通过导入以下内容在python代码中创建一个记录器：

import logging
logging.basicConfig(filename='example.log', level=logging.DEBUG) # Creates log file

在此基础上，您可以使用记录器根据您希望执行的任务的重要性跟踪程序中的特定任务：

logging.info("Stream data recorded successfully")  # Reports events occuring
logging.debug("Running Diagnostics") # Can be used for detailed diagnostic tracking
logging.warning("Unknown File: " + filename) # Issues warnings about runtime events
logging.error("An issue occurred") # reports error without raising an exception

收集完所有这些数据后，您可以解析日志以查找要在实时仪表板中使用的特定消息（例如，仅解析错误和警告），而不必显示发送到日志记录器的每条消息。也就是说，python有一个可用的工具，可以使用pip轻松安装：

pip install pylogsparser

如果您希望通过python代码手动解析，那么这个来自的文件对于根据您的特定项目开始和修改非常有用

---

还有更多关于logger on的信息，下面是一个帮助您入门的示例。我希望这一解释能帮助您入门。

看起来pygtail可以满足您的需求：

---

看起来pygtail会做你想做的事：

只是一个建议

你可以试试麋鹿：

ELK是Elasticsearch（ES）、Logstash和Kibana的缩写，是最流行的开源日志聚合工具。Es是一种NoSQL。Logstash是一个日志管道系统，可以接收数据，转换数据，并将其加载到类似Elasticsearch的存储中。Kibana是Elasticsearch顶部的可视化层

或

您可以使用Mongo DB处理如此大量的数据：

MongoDB是一个开源文档数据库，也是领先的NoSQL。Mongo DB以json格式存储数据。处理日志并以json格式存储，然后检索日志以供进一步使用

基本上这不是一个简单的解释问题，它取决于场景。

只是一个建议

你可以试试麋鹿：

ELK是Elasticsearch（ES）、Logstash和Kibana的缩写，是最流行的开源日志聚合工具。Es是一种NoSQL。Logstash是一个日志管道系统，可以接收数据，转换数据，并将其加载到类似Elasticsearch的存储中。Kibana是Elasticsearch顶部的可视化层

或

您可以使用Mongo DB处理如此大量的数据：

MongoDB是一个开源文档数据库，也是领先的NoSQL。Mongo DB以json格式存储数据。处理日志并以json格式存储，然后检索日志以供进一步使用

---

基本上，这不是一个简单的问题来解释，这取决于场景。

Hi，生成的日志文件与我的应用程序无关。日志文件属于另一个应用程序。我只需要不断地将日志数据添加到python代码中，并应用一些分析。但是，如何将另一个应用程序的连续或流式日志数据添加到我的代码中呢。有什么工具我可以用吗？因为这是一个大数据。我建议查看FileHandler，并进一步查看StreamHandler或SocketHandler，因为您正在处理另一个应用程序的文件。嗨，生成的日志文件与我的应用程序无关。日志文件属于另一个应用程序。我只需要不断地将日志数据添加到python代码中，并应用一些分析。但是，如何将另一个应用程序的连续或流式日志数据添加到我的代码中呢。有什么工具我可以用吗？因为这是一个大数据。我建议查看FileHandler，并进一步查看StreamHandler或SocketHandler，因为您正在处理另一个应用程序的文件