Airflow 捕捉实例之间的气流延迟

Airflow 捕捉实例之间的气流延迟,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我有以下dag设置,从2015年开始运行catchup。对于每个执行日期,任务实例在一分钟内完成。然而,第二天的任务只在5分钟内开始。例如,上午10:00、上午10:05、上午10:10等。我没有看到为任务实例指定5分钟的间隔。如何修改dag以在上一个实例完成后立即触发? 我使用的是气流1.9.0版 default_args = { 'owner': 'ssnehalatha', 'email': ['ssnehalatha@metromile.com'], 'depends_

我有以下dag设置,从2015年开始运行catchup。对于每个执行日期,任务实例在一分钟内完成。然而,第二天的任务只在5分钟内开始。例如,上午10:00、上午10:05、上午10:10等。我没有看到为任务实例指定5分钟的间隔。如何修改dag以在上一个实例完成后立即触发? 我使用的是气流1.9.0版

default_args = {
   'owner': 'ssnehalatha',
   'email': ['ssnehalatha@metromile.com'],
   'depends_on_past': False,
   'start_date': datetime(2015, 1, 1),
   'on_failure_callback': jira_failure_ticket,
   'trigger_rule': 'all_done',
   'retries': 1,
   'pool': 'python_sql_pool'
}

dag = DAG('daily_dag',
           schedule_interval='15 1 * * 0,1,2,3,4,5',
           default_args=default_args,
           dagrun_timeout=timedelta(hours=24),
           catchup=True)

如果我没有弄错的话,这是连接到
aiffort.cfg
中的计划程序设置的

[scheduler]

# The scheduler constantly tries to trigger new tasks (look at the
# scheduler section in the docs for more information). This defines
# how often the scheduler should run (in seconds).
scheduler_heartbeat_sec = 60
编辑

您提到的两个参数的文档(来自):

min\u file\u process\u interval应在多长时间后从文件系统中提取更新的DAG

dag目录列表间隔计划程序重新列出dag目录内容的频率。如果在开发+DAG时,未拾取它们,请查看此数字,并在必要时减少它


在我看来,它们更适合于检测更改的和新的DAG文件,而不是执行任务。

谢谢。我在[scheduler]下的afflow.cfg中看到两个属性设置为5分钟。我相信是第一个原因造成了延误。将在此处测试并更新结果。min_file_process_interval=300 dag_dir_list_interval=300将min_file_process_interval更新为60使我的捕获作业每分钟触发一次。即使每5分钟触发一次任务实例,我的调度程序_heartbeat_sec=5。具体来说,之前,如果2015-01-01的dag在上午10:00开始执行,并在上午10:01完成,那么2015-01-02的dag将仅在上午10:05在运行catchup时被触发。但在设置min_file_process_interval=60后,第二天的dag会在前一天的dag执行完成后立即触发,如果前一天的dag在一分钟内完成,则会在前一天的dag启动后1分钟触发。