Python 关于管理完美工作流的日志

Python 关于管理完美工作流的日志,python,postgresql,airflow,workflow,prefect,Python,Postgresql,Airflow,Workflow,Prefect,我正在为业务应用程序使用完美的工作流 我有一个关于postgresql中存储的日志的问题 如果每天的日志都存储在postgresql server上,那么数据量将是巨大的 是否有机制旋转此日志并将其写入文本文件 另外,在将数据从postgresql表写入文本文件等之后,是否可以删除相应的记录?由于您正在运行一个Fifter Server实例,因此编写一个连接到postgres容器并将日志归档到某种云存储(GCS、S3等)的流是有意义的。我可能会这样想: 使用Perfict客户端收集早于特定日期的

我正在为业务应用程序使用完美的工作流

我有一个关于postgresql中存储的日志的问题

如果每天的日志都存储在postgresql server上,那么数据量将是巨大的

是否有机制旋转此日志并将其写入文本文件


另外,在将数据从postgresql表写入文本文件等之后,是否可以删除相应的记录?

由于您正在运行一个Fifter Server实例,因此编写一个连接到postgres容器并将日志归档到某种云存储(GCS、S3等)的流是有意义的。我可能会这样想:

  • 使用Perfict
    客户端
    收集早于特定日期的流运行的所有ID
  • 连接到postgres,并从日志表中选择具有这些流运行ID的日志
  • 首选将这些日志写入CSV/SQL/Text
  • 从postgres中删除那些日志