Airflow 气流中的Dag脚本

Airflow 气流中的Dag脚本,airflow,directed-acyclic-graphs,Airflow,Directed Acyclic Graphs,我已经在airflow中为python脚本中的函数编写了Dag脚本。例如,在Dag脚本中,我将python脚本作为“从数据提取器导入*”导入。我已经为气流dag脚本中的数据提取程序.py中的功能构建了工作流。但是,当我在数据提取程序.py中进行任何代码更改时,气流dag数据提取程序.py无法加载。在这种情况下,气流UI页面也不可用已加载。如何在这种情况下更好地使用气流。据我所知,您在data\u extractor.py中有一些库代码,在data\u extractor\u dag.py中有da

我已经在airflow中为python脚本中的函数编写了Dag脚本。例如,在Dag脚本中,我将python脚本作为“从数据提取器导入*”导入。我已经为气流dag脚本中的数据提取程序.py中的功能构建了工作流。但是,当我在数据提取程序.py中进行任何代码更改时,气流dag数据提取程序.py无法加载。在这种情况下,气流UI页面也不可用已加载。如何在这种情况下更好地使用气流。

据我所知,您在
data\u extractor.py
中有一些库代码,在
data\u extractor\u dag.py
中有dag定义。在
data\u extractor.py
中编辑代码时,更改不会显示在dag中。这是正确的吗

使用Airflow,Web服务器和调度程序都会定期刷新DAG的视图。执行此操作时,它会查找包含DAG的python文件并导入它们。如果您的代码都包含在dag定义文件中,那么这种方法可以很好地工作并进行更改。但是,如果您编辑现有的库文件或作为Airflow插件导入的文件,则需要重新启动调度程序和Web服务器以获取任何更改


在不重新启动气流的情况下,如果您的DAG代码正在从预先存在的库中导入新的内容(因为该库尚未更新),您可能会看到一个错误。

您是使用pip安装了
数据提取程序
还是将
数据提取程序.py
放在DAG文件夹中?这是什么意思“气流dag数据_提取器_dag.py无法加载?”您的意思是在运行dag时看不到更改的效果吗?