Python 以编程方式触发的DAG的外部传感器
我遇到了下面的问题。如果存在,请建议任何解决方法 我们根据从外部系统接收到的一些信号(文件位于FTP位置)触发DAG。因此,所有DAG的计划间隔将始终为零 下面是一个例子 我们使用下面的代码触发一个DAGPython 以编程方式触发的DAG的外部传感器,python,airflow,orchestration,Python,Airflow,Orchestration,我遇到了下面的问题。如果存在,请建议任何解决方法 我们根据从外部系统接收到的一些信号(文件位于FTP位置)触发DAG。因此,所有DAG的计划间隔将始终为零 下面是一个例子 我们使用下面的代码触发一个DAG trigger = TriggerDagRunOperator( task_id = "testsensor", trigger_dag_id = "Export",
trigger = TriggerDagRunOperator( task_id = "testsensor",
trigger_dag_id = "Export",
dag = dag,
execution_date = var_dt
)
上面的导出已触发DAG,其计划间隔为无。现在我想轮询导出DAG的状态以启动一些子DAG。我知道我们有用于它的Externaltasksensor,但我只是不知道如何为它传递执行日期或执行时间增量
task_sensor = ExternalTaskSensor(
task_id='link_upstream',
external_dag_id='Export',
external_task_id=None,
execution_date_fn= lambda var_dt: var_dt,
dag=dag
)
有谁能帮助我正确地编写DAG的sensor操作符,因为DAG是通过编程触发的