Airflow 气流DAG和x27中的条件触发;触发下一个DAG需要更多时间吗?

Airflow 气流DAG和x27中的条件触发;触发下一个DAG需要更多时间吗?,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我们有10个气流DAG,我们正在使用条件触发器运行下一个DAG。但下一个DAG不会马上开始。触发的时间正好是5分钟 例如: Dag1于10:05完成 Dag2在10:10开始 如果我们能够消除5分钟的间隔,整个ETL过程将在2.5小时内完成。但现在大约需要3到4个小时 配置文件: sql_alchemy_pool_size = 5 sql_alchemy_pool_recycle = 3600 parallelism = 8 dag_concurrency = 64 dags_are_pa

我们有10个气流DAG,我们正在使用条件触发器运行下一个DAG。但下一个DAG不会马上开始。触发的时间正好是5分钟

例如:

Dag1于10:05完成 Dag2在10:10开始

如果我们能够消除5分钟的间隔,整个ETL过程将在2.5小时内完成。但现在大约需要3到4个小时

配置文件:

sql_alchemy_pool_size = 5
sql_alchemy_pool_recycle = 3600 
parallelism = 8 
dag_concurrency = 64 
dags_are_paused_at_creation = True 
max_active_runs_per_dag = 16 
load_examples = False 
donot_pickle = False 
dagbag_import_timeout = 30 
workers = 4 
worker_class = sync 
authenticate = False 
filter_by_owner = False 
email_backend = airflow.utils.send_email_smtp 
celery_app_name = airflow.executors.celery_executor 
celeryd_concurrency = 16 
job_heartbeat_sec = 5 
scheduler_heartbeat_sec = 5 
task_cpu = 1

你能发布你的触发/配置设置吗?sql\u alchemy\u pool\u size=5 sql\u alchemy\u pool\u recycle=3600并行度=8 dag\u并发度=64 dag\u暂停\u创建时=真正的最大活动\u每次运行\u dag=16次加载\u示例=错误的donot\u pickle=False dagbag\u导入\u超时=30个工人=4工人\u类=同步身份验证=错误的过滤器\u所有者=False email\u backend=airflow.utils.send\u email\u smtp celery\u app\u name=airflow.executors.celery\u executor celeryd\u并发性=16作业\u心跳\u秒=5调度程序\u心跳\u秒=5任务\u cpu=1这是我们在配置文件中设置的参数,。。!!!你能发布你的触发/配置设置吗?sql\u alchemy\u pool\u size=5 sql\u alchemy\u pool\u recycle=3600并行度=8 dag\u并发度=64 dag\u暂停\u创建时=真正的最大活动\u每次运行\u dag=16次加载\u示例=错误的donot\u pickle=False dagbag\u导入\u超时=30个工人=4工人\u类=同步身份验证=错误的过滤器\u所有者=False email\u backend=airflow.utils.send\u email\u smtp celery\u app\u name=airflow.executors.celery\u executor celeryd\u并发性=16作业\u心跳\u秒=5调度程序\u心跳\u秒=5任务\u cpu=1这是我们在配置文件中设置的参数,。。!!!