在Airflow 2.0中按需将DAG序列化为DB

我们目前正在运行时使用Airflow部署流，并在DAG部署方面面临不断的问题。在我们的工作流应用程序中，调度程序无法及时拾取DAG并延迟用户响应

我们是否有办法根据需要将DAG部署到气流数据库中

---

?？如果没有，我们如何定义好这个过程。

默认情况下，从Airflow 2.0.1每30秒解析一次每个DAG文件

这是由

---

将其更改为2秒或您认为适合您的情况的任何秒数。

您在DAG解析处理器日志中看到了什么错误？您可以在

$aiffort\u HOME/logs/scheduler/EXECUTION\u DATE/DAG\u ID.py.log

中看到它们，我们看不到任何错误，但DAG解析本身需要30秒以上的时间，并且会延迟用户对应用程序的响应。我们已经尝试减少调度程序提取DAG进行解析的时间，但没有多大帮助。在这种情况下，将

[scheduler]min\u file\u process\u interval

从

30

更改为

2

，或者我们已经尝试过这种方法，但调度程序还需要一些时间来扫描已部署的现有DAG。因此，调度器上的负载正在增加，我们看到dag解析失败。这意味着您可能在dag和任务对象之外有大量逻辑，请发布日志和dag。是的，我们使用的是PythonOperator，它在内部调用用python类文件编写的方法。我们可以在dag中设置从1到20的运算符。python类包含用户打算执行的各个ML操作的代码，例如插补、分类、回归等。在优化DAG和相关依赖项方面可以做些什么？