Airflow 气流-在连续X次失败后禁用dag
我阅读了API参考,但在上面找不到任何内容,这可能吗?目前,没有现成的功能,但您可以在DAG中编写一些自定义代码来解决这个问题。例如,使用PythonOperator(如果元数据数据库是MySQL,则可以使用MySQL操作符)获取dag最后X次运行的状态。 使用Airflow 气流-在连续X次失败后禁用dag,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我阅读了API参考,但在上面找不到任何内容,这可能吗?目前,没有现成的功能,但您可以在DAG中编写一些自定义代码来解决这个问题。例如,使用PythonOperator(如果元数据数据库是MySQL,则可以使用MySQL操作符)获取dag最后X次运行的状态。 使用BranchPythonOperator查看该数字是否大于X,如果大于X,则使用BashOperator运行airflow pause dagcli 您还可以通过在BranchPythonOperator中添加PythonOperator
BranchPythonOperator
查看该数字是否大于X,如果大于X,则使用BashOperator运行airflow pause dag
cli
您还可以通过在BranchPythonOperator中添加PythonOperator的逻辑,将此任务分为两步。这只是一个想法,您可以使用不同的逻辑。通过
”。禁用dag..“
您是指dag
还是仅仅(停止进一步重试)?我的意思是确保在手动再次启用之前不会再次安排它,或者可能激活指数退避。问题是我有一个DAG,每5分钟运行一次,因此,例如,如果晚上出现问题,我醒来时会收到100封关于失败DAG的电子邮件。暂停链接不起作用,但从谷歌上看,我的意思似乎确实是暂停