Airflow 如何控制依赖于文件下载的任务的执行

Airflow 如何控制依赖于文件下载的任务的执行,airflow,Airflow,我有一个DAG,每两分钟运行一次。第一个任务尝试下载一个文件,随后的任务操作这个下载的文件 我正在使用一个控制文件,当下载成功时,该文件将设置一个真值,然后我的其他脚本将首先检查此控制文件中的下载是否设置为真 我只是想知道是否有更好的方法来执行我的其他脚本,而不是每两分钟运行一次。你能给我的问题提供更精确的解释吗 如果我理解您的问题,这里有一些迹象: 使用xcom在任务之间传递参数,而不是使用控制文件。这不是问题的解决方案,但不要使用文件传递参数,因为最终可能会出现并发问题 要验证下载,您可以使

我有一个DAG,每两分钟运行一次。第一个任务尝试下载一个文件,随后的任务操作这个下载的文件

我正在使用一个控制文件,当下载成功时,该文件将设置一个真值,然后我的其他脚本将首先检查此控制文件中的下载是否设置为真


我只是想知道是否有更好的方法来执行我的其他脚本,而不是每两分钟运行一次。

你能给我的问题提供更精确的解释吗

如果我理解您的问题,这里有一些迹象:

  • 使用xcom在任务之间传递参数,而不是使用控制文件。这不是问题的解决方案,但不要使用文件传递参数,因为最终可能会出现并发问题

  • 要验证下载,您可以使用。然后将依赖项定义如下:
    下载任务>>文件传感器>>脚本到执行任务
    。不要忘记根据您的限制和需要正确配置传感器超时