Airflow 气流计划程序未立即计划简单DAG任务
我已计划每5分钟运行一次带有简单bash任务的DAG:Airflow 气流计划程序未立即计划简单DAG任务,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我已计划每5分钟运行一次带有简单bash任务的DAG: # bash_dag.py from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta default_args = { 'owner': 'airflow', 'start_date' : datetime(2019, 5, 30) }
# bash_dag.py
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'airflow',
'start_date' : datetime(2019, 5, 30)
}
dag = DAG(
'bash_count',
default_args=default_args,
schedule_interval='*/5 * * * *',
catchup = False
)
t1 = BashOperator(
task_id='print_date',
bash_command='date',
dag=dag
)
调度工作正常,DAG每5分钟执行一次阈值。但是,我注意到,在第5分钟阈值和任务排队时间之间存在明显的延迟。对于图中所示的示例,任务排队需要3到50秒。例如,映像中的最后一次DAG执行应该在20:05:00后触发,但任务实例在28秒后(20:05:28)排队
我很惊讶这种情况,因为正在计划的DAG只有一个非常简单的任务。这是正常气流延迟吗?在处理更复杂的DAG时,我是否应该期待进一步的延迟
我正在运行一个本地的airflow服务器,Postgres作为db,在一个16 GB的Mac上运行OS Mojave。机器不受资源限制