Airflow 用--mark_回填成功很慢
我预计使用-m回填的行为或多或少是瞬时的，因为没有做功。然而，我发现调度器在每个任务上花费了大约30秒，这似乎太多了 我正在本地执行器模式下运行一个小的airflow实例，Postgresql作为DBAirflow 用--mark_回填成功很慢,airflow,Airflow,我预计使用-m回填的行为或多或少是瞬时的，因为没有做功。然而，我发现调度器在每个任务上花费了大约30秒，这似乎太多了 我正在本地执行器模式下运行一个小的airflow实例，Postgresql作为DB 这是否反映了您的气流回填经验？您知道性能陷阱或加速技巧吗？我发现了一种加速方法： --donot-pickle Do not attempt to pickle the DAG object to send over to the workers, just tell the workers to
这是否反映了您的气流回填经验？您知道性能陷阱或加速技巧吗？我发现了一种加速方法：
--donot-pickle
Do not attempt to pickle the DAG object to send over to the workers, just tell the workers to run their version of the code
Default: False
它的速度有多快？我相信它从每个任务几十秒增加到总共几秒。很酷的事情！我用它成功地运行了大量的DAG回填！谢谢