Apache Airflow dag在运行后未成功

Apache Airflow dag在运行后未成功,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我已经创建了一个dag,该dag在气流UI中可用,我打开它来运行它。运行dag后,状态显示已准备好重试。之后,我转到服务器并使用命令“Airflow scheduler”,然后dag成功运行 在运行dag之前,调度程序已经启动并运行,我不知道为什么会发生这种情况。 创建新dag时是否需要运行气流调度器? 想知道调度程序是如何工作的 谢谢您可以将airflow scheduler视为一个无限循环,在每次迭代中检查任务的状态,并触发满足依赖关系的任务 整个过程会生成一组数据,这些数据在每一轮中堆积得

我已经创建了一个dag,该dag在气流UI中可用,我打开它来运行它。运行dag后,状态显示已准备好重试。之后,我转到服务器并使用命令“Airflow scheduler”,然后dag成功运行

在运行dag之前,调度程序已经启动并运行,我不知道为什么会发生这种情况。 创建新dag时是否需要运行气流调度器? 想知道调度程序是如何工作的


谢谢

您可以将airflow scheduler视为一个无限循环,在每次迭代中检查任务的状态,并触发满足依赖关系的任务

整个过程会生成一组数据,这些数据在每一轮中堆积得越来越多,在某个时候,由于调度程序的性能会随着时间的推移而下降,因此最终可能会使调度程序变得无用。这取决于您的Airflow版本,但对于较旧版本(<2.0),建议每隔运行时间秒重新启动计划程序,有些人建议将其设置为每小时一次或每天一次。所以,除非你正在开发气流2.0,否则我认为这就是你正在经历的

你们可以在天文学家和天文学家发表的文章中找到这个问题的参考资料