Airflow 如何查看气流DAG的完整路径?
在Airflow web界面中,我可以查看DAG列表。如果单击其中一个DAG,我可以看到DAG的不同视图或DAG的代码,在“详细信息”选项卡中,我可以看到DAG文件的名称,但看不到路径 我也尝试了Airflow 如何查看气流DAG的完整路径?,airflow,Airflow,在Airflow web界面中,我可以查看DAG列表。如果单击其中一个DAG,我可以看到DAG的不同视图或DAG的代码,在“详细信息”选项卡中,我可以看到DAG文件的名称,但看不到路径 我也尝试了气流列表DAG,但也没有提供我想要的信息 我可以在web界面中看到一个DAG,但我找不到它在文件系统中的位置 有没有办法从Airflow web界面或Airflow CLI中找到DAG的位置?我不这么认为,但您只需从Airflow.cfg中搜索您的DAG_文件夹即可找到DAG的创建位置 此外,如果您已登
气流列表DAG
,但也没有提供我想要的信息
我可以在web界面中看到一个DAG,但我找不到它在文件系统中的位置
有没有办法从Airflow web界面或Airflow CLI中找到DAG的位置?我不这么认为,但您只需从Airflow.cfg中搜索您的
DAG_文件夹即可找到DAG的创建位置
此外,如果您已登录,airflow Web服务器
的日志会准确地告诉您正在导入哪些文件/DAG。我不这么认为,但您应该从airflow.cfg中搜索您的DAG\u文件夹
,以查找DAG的创建位置
此外,如果您进行了一些登录,airflow webserver
的日志会准确地告诉您正在导入哪些文件/DAG。特别是如果您进行了开发和更改DAG/删除DAG文件,这些条目通常会保留在后端数据库中,并在UI中可见。大多数时候,实际上已经没有任何DAG文件了
我建议使用以下方法从数据库中清理DAG:
import sys
from airflow.hooks.postgres_hook import PostgresHook
dag_input = sys.argv[1]
hook=PostgresHook( postgres_conn_id= "airflow_db")
for t in ["xcom", "task_instance", "sla_miss", "log", "job", "dag_run", "dag" ]:
sql="delete from {} where dag_id='{}'".format(t, dag_input)
hook.run(sql, True)
(根据的回答)特别是如果您进行开发和更改DAG/删除DAG文件,这些条目通常会保留在后端数据库中,并在UI中可见。大多数时候,实际上已经没有任何DAG文件了
我建议使用以下方法从数据库中清理DAG:
import sys
from airflow.hooks.postgres_hook import PostgresHook
dag_input = sys.argv[1]
hook=PostgresHook( postgres_conn_id= "airflow_db")
for t in ["xcom", "task_instance", "sla_miss", "log", "job", "dag_run", "dag" ]:
sql="delete from {} where dag_id='{}'".format(t, dag_input)
hook.run(sql, True)
(根据来自的回答)默认情况下,气流提供一些样本DAG。
DAG保存在示例_DAG文件夹下
DAG的路径:
lib/python2.7/site packages/afflow/example_dags默认情况下,afflow提供一些示例dag。
DAG保存在示例_DAG文件夹下
DAG的路径:
lib/python2.7/site packages/afflow/example_dags在ui的主DAG列表上,DAG暂停切换的左侧有一个按钮。决议如下:
https://<airflow.blah.com>/admin/dagmodel/edit/?id=<dag_id>
https:///admin/dagmodel/edit/?id=
Fileloc
将显示DAG文件的位置。然而
- 如果将其他本地文件导入到DAG文件中,则可能会出错
- 文件可能不再存在,此信息存储在数据库中
在ui中的主DAG列表上,DAG暂停切换左侧有一个按钮。决议如下:
https://<airflow.blah.com>/admin/dagmodel/edit/?id=<dag_id>
https:///admin/dagmodel/edit/?id=
Fileloc
将显示DAG文件的位置。然而
- 如果将其他本地文件导入到DAG文件中,则可能会出错
- 文件可能不再存在,此信息存储在数据库中
有些DAG不在DAG_文件夹中。甚至是它的子目录?不管怎样,Web服务器日志都包含导入的每个dag。此外,您可以拥有曾经运行但不再找到的DAG,但它们在web UI中的外观会有所不同。有些DAG不在DAG_文件夹中。甚至是它的子目录?不管怎样,Web服务器日志都包含导入的每个dag。此外,您可以拥有曾经运行过但再也找不到的DAG,但它们在web UI中的外观会有所不同。