Airflow 气流DAG版本控制

Airflow 气流DAG版本控制,airflow,Airflow,DAG版本控制是一件事吗?在谷歌上搜索几次,我找不到多少关于这个主题的信息。我想看看气流中的DAG屏幕,确定野外的DAG代码是什么 最简单的解决方案是在dag_id中包含一个版本号,但如果有人有更好的替代解决方案,我将不胜感激。标签也会起作用,在用户界面上看起来也不错——虽然它们是为过滤而设计的,但我不确定是否会有不良的副作用。气流项目有一个很好的解决方案。目前的答案是Airflow不支持版本 链接中的第一个用例描述了一个关键限制,以前运行的日志文件只能显示当前DAG中的节点。作为的作者,我可以

DAG版本控制是一件事吗?在谷歌上搜索几次,我找不到多少关于这个主题的信息。我想看看气流中的DAG屏幕,确定野外的DAG代码是什么

最简单的解决方案是在dag_id中包含一个版本号,但如果有人有更好的替代解决方案,我将不胜感激。标签也会起作用,在用户界面上看起来也不错——虽然它们是为过滤而设计的,但我不确定是否会有不良的副作用。

气流项目有一个很好的解决方案。目前的答案是Airflow不支持版本

链接中的第一个用例描述了一个关键限制,以前运行的日志文件只能显示当前DAG中的节点。

作为的作者,我可以说这项工作在2.0之后被推迟,主要是为了支持端到端DAG版本控制

最初,我们(Airflow Core Committer)计划采用仅限Web服务器的DAG版本控制,即改进可见性行为,但不改进执行:

此AIP的范围,以确保 气流是正确的,但不会改变以下执行行为: 将继续基于DAG的最新版本

这意味着它克服了以下问题:您可以返回到旧版本的DAG,查看几个月前的DAG形状,并且可以看到正确的表示,而不是“始终最新”

目前,Airflow遇到这样一个问题:如果添加/删除任务,它将在Web服务器的所有以前的运行中被添加/删除

但是,我们已经决定,我们将完成+DAG版本控制,并在工作端启用DAG版本控制,因此用户也可以使用以前的版本运行DAG


目前,我们没有日期,但主要计划在2021年底前后完成。

昨天在气流2.0中引入了该版本:我们正在做的与您提到的相同:在DAG ID heheAirflow 2.0中包含版本号。。。令人惊叹的!看起来一流的版本控制并没有进入2.0。。。在或中均未提及