Airflow 气流DAG和x27中的条件触发;触发下一个DAG需要更多时间吗?
我们有10个气流DAG,我们正在使用条件触发器运行下一个DAG。但下一个DAG不会马上开始。触发的时间正好是5分钟 例如: Dag1于10:05完成 Dag2在10:10开始 如果我们能够消除5分钟的间隔,整个ETL过程将在2.5小时内完成。但现在大约需要3到4个小时 配置文件:Airflow 气流DAG和x27中的条件触发;触发下一个DAG需要更多时间吗?,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我们有10个气流DAG,我们正在使用条件触发器运行下一个DAG。但下一个DAG不会马上开始。触发的时间正好是5分钟 例如: Dag1于10:05完成 Dag2在10:10开始 如果我们能够消除5分钟的间隔,整个ETL过程将在2.5小时内完成。但现在大约需要3到4个小时 配置文件: sql_alchemy_pool_size = 5 sql_alchemy_pool_recycle = 3600 parallelism = 8 dag_concurrency = 64 dags_are_pa
sql_alchemy_pool_size = 5
sql_alchemy_pool_recycle = 3600
parallelism = 8
dag_concurrency = 64
dags_are_paused_at_creation = True
max_active_runs_per_dag = 16
load_examples = False
donot_pickle = False
dagbag_import_timeout = 30
workers = 4
worker_class = sync
authenticate = False
filter_by_owner = False
email_backend = airflow.utils.send_email_smtp
celery_app_name = airflow.executors.celery_executor
celeryd_concurrency = 16
job_heartbeat_sec = 5
scheduler_heartbeat_sec = 5
task_cpu = 1
你能发布你的触发/配置设置吗?sql\u alchemy\u pool\u size=5 sql\u alchemy\u pool\u recycle=3600并行度=8 dag\u并发度=64 dag\u暂停\u创建时=真正的最大活动\u每次运行\u dag=16次加载\u示例=错误的donot\u pickle=False dagbag\u导入\u超时=30个工人=4工人\u类=同步身份验证=错误的过滤器\u所有者=False email\u backend=airflow.utils.send\u email\u smtp celery\u app\u name=airflow.executors.celery\u executor celeryd\u并发性=16作业\u心跳\u秒=5调度程序\u心跳\u秒=5任务\u cpu=1这是我们在配置文件中设置的参数,。。!!!你能发布你的触发/配置设置吗?sql\u alchemy\u pool\u size=5 sql\u alchemy\u pool\u recycle=3600并行度=8 dag\u并发度=64 dag\u暂停\u创建时=真正的最大活动\u每次运行\u dag=16次加载\u示例=错误的donot\u pickle=False dagbag\u导入\u超时=30个工人=4工人\u类=同步身份验证=错误的过滤器\u所有者=False email\u backend=airflow.utils.send\u email\u smtp celery\u app\u name=airflow.executors.celery\u executor celeryd\u并发性=16作业\u心跳\u秒=5调度程序\u心跳\u秒=5任务\u cpu=1这是我们在配置文件中设置的参数,。。!!!