Python 在气流中运行dag时出错,在UI气流中手动运行
我在气流中创建了一个DAG,该DAG使用测试和回填命令成功运行,但在从气流UI手动运行时出错。我的问题有什么解决办法吗?注意,DAG在LocalExecutor中运行 用户界面中的错误日志:Python 在气流中运行dag时出错,在UI气流中手动运行,python,python-2.7,airflow,apache-airflow,airflow-scheduler,Python,Python 2.7,Airflow,Apache Airflow,Airflow Scheduler,我在气流中创建了一个DAG,该DAG使用测试和回填命令成功运行,但在从气流UI手动运行时出错。我的问题有什么解决办法吗?注意,DAG在LocalExecutor中运行 用户界面中的错误日志: *** Log file isn't local. *** Fetching here: http://:8793/log/test/start/2017-10-31T09:14:32.378718 *** Failed to fetch log file from worker. *** Reading
*** Log file isn't local.
*** Fetching here: http://:8793/log/test/start/2017-10-31T09:14:32.378718
*** Failed to fetch log file from worker.
*** Reading remote logs...
*** Unsupported remote log location.
代码DAG:
from airflow.models import DAG
from airflow.operators.dummy_operator import DummyOperator
from datetime import datetime, timedelta
DAG_NAME = 'test'
args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2017, 10, 17),
'email': ['abc@abc.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
}
with DAG(DAG_NAME, schedule_interval=timedelta(days=1),
default_args=args) as dag:
start = DummyOperator(
task_id='start')
end = DummyOperator(
trigger_rule='one_success',
task_id='end')
start >> end
谢谢。您的任务定义有问题,您没有给它们分配任何dag。在每个中添加dag=dag,它将起作用。例如:
start = DummyOperator( task_id='start', dag=dag)
end = DummyOperator( trigger_rule='one_success', task_id='end', dag=dag)
注意:通过检查工作日志,您可能会得到一个提示:“使用空序列调用了“dag_stats.dag_id”上的IN谓词。这会导致矛盾,但计算起来可能会很昂贵。”您的任务定义有问题,您没有为它们分配任何dag。在每个中添加dag=dag,它将起作用。例如:
start = DummyOperator( task_id='start', dag=dag)
end = DummyOperator( trigger_rule='one_success', task_id='end', dag=dag)
注意:通过检查工作日志,您可能会得到一个提示:“使用空序列调用了“dag_stats.dag_id”上的IN谓词。这会导致矛盾,但计算起来可能会很昂贵。”如果dag使用test和回填命令成功运行,则在我触发UI中的dag时将其启用。
如果DAG使用测试和回填命令成功运行,则在UI中触发DAG时,将其打开将起作用。
您试图运行的任务实例的当前状态是什么?根据获取日志时出现的错误,听起来它还没有实际运行。还要检查计划程序(以及工作程序,如果适用)是否正在运行。是否尝试删除args dict中的最后一个逗号?我也面临着一些问题。可能是问题的一部分,但日志可能与此无关。@DanielHuang DAG在LocalExecutor中运行。什么是iam设置工作者或启动服务工作者。。?因为我只是在运行服务器UI。我没有使用CeleryExecutor。@劳尔·雷吉洛·卡莫纳:我会删除逗号,但还是同样的错误。。任何解决方案..?您尝试运行的任务实例的当前状态是什么?根据获取日志时出现的错误,听起来它还没有实际运行。还要检查计划程序(以及工作程序,如果适用)是否正在运行。是否尝试删除args dict中的最后一个逗号?我也面临着一些问题。可能是问题的一部分,但日志可能与此无关。@DanielHuang DAG在LocalExecutor中运行。什么是iam设置工作者或启动服务工作者。。?因为我只是在运行服务器UI。我没有使用CeleryExecutor。@劳尔·雷吉洛·卡莫纳:我会删除逗号,但还是同样的错误。。有什么解决办法吗。。?