Airflow 计划程序不遵守Apache队列参数

Airflow 计划程序不遵守Apache队列参数,airflow,airflow-scheduler,airflow-operator,Airflow,Airflow Scheduler,Airflow Operator,我试图控制任务在哪个工作线程上执行,但是DAG定义中的队列参数没有被调度程序拾取 我在subdag操作符中定义了一个队列: xdata_run_etl = sub_dag_operator_with_celery_executor( subdag = build_xdata_etl_dag(dag, 'xdata_run_etl'), task_id = 'xdata_run_etl', dag = dag, trigger_rule='none_failed',

我试图控制任务在哪个工作线程上执行,但是DAG定义中的队列参数没有被调度程序拾取

我在subdag操作符中定义了一个队列:

xdata_run_etl = sub_dag_operator_with_celery_executor(
    subdag = build_xdata_etl_dag(dag, 'xdata_run_etl'),
    task_id = 'xdata_run_etl',
    dag = dag,
    trigger_rule='none_failed',
    queue='subdag'
)
我可以看到队列设置已被选中。在UI的“任务属性”部分中,
队列
设置为
子DAG

但是,当我触发DAG时,调度程序仍将任务发送到默认队列。正如调度程序日志所观察到的:

: [2020-04-02 20:38:49,581] {scheduler_job.py:1168} INFO - Sending ('run_etl', 'xdata_run_etl', datetime.datetime(2020, 4, 2, 17, 27, 38, 368220, tzininfo=<TimezoneInfo [UTC, GMT, +00:00:00, STD]>), 10) to executor with priority 2 and queue default
:[2020-04-02 20:38:49581]{scheduler\u job.py:1168}信息-将('run\u etl','xdata\u run\u etl',datetime.datetime(2020,4,2,17,27,38,368220,tzinfo=),10)发送给优先级为2且队列默认值的执行器
预期的行为是,此任务将被发送到
子DAG
队列,并在侦听此队列的Airflow worker上运行。(
气流工作者-q子段
)。实际行为是,所有任务都被发送到默认队列,而与定义的队列参数无关


气流版本:1.10.9

我相信您使用的是芹菜工人。你能检查一下花是否在为工人排队吗?我相信你在用芹菜工人。你能检查一下这朵花是否在为工人排队吗。