Airflow 如何记录气流DAG的输出以进行调试？

我正在写一个DAG，在函数方面有一些问题。我正试图通过将数据打印到stdout并使用

日志记录

库进行调试

我的示例DAG是：

从日期时间导入时间增量
输入气流
导入日志记录
从airflow.models导入DAG
从airflow.operators.dummy_operator导入dummy operator
从airflow.contrib.hooks.datadog\u hook导入DatadogHook
def datadog_事件（标题、文本、dag_id、任务id）：
hook=DatadogHook（）
标签=[
f'dag:{dag_id}'，
f'task:{task_id}'，
]
hook.post_事件（标题、文本、标记）
def数据狗事件成功（上下文）：
dag_id=上下文['task_instance']。dag_id
task\u id=context['task\u instance']。task\u id
text=f'DAG失败，因为{DAG_id}\n\nDAG:{DAG_id}\n任务：{task_id}'
title=f'DAG成功获得{DAG_id}'
logging.info（标题）
logging.info（文本）
logging.info（dag_id）
logging.info（任务id）
datadog_事件（标题、文本、dag_id、任务id）
args={
“所有者”：“气流”，
“开始日期”：气流.utils.dates.days（2），
}
dag=dag(
dag_id='example_callback'，
默认值_args=args，
计划时间间隔='*/5****'，
dagrun_超时=时间增量（分钟=60），
on_success_callback=datadog_事件_success，
)
我的任务=DummyOperator(
task_id='run_this_last'，
dag=dag，
)

在运行期间，我遇到一个错误：

airflow[9490]: Process DagFileProcessor4195-Process:
airflow[9490]: Traceback (most recent call last):
airflow[9490]:   File "/usr/lib/python3.6/multiprocessing/process.py", line 258, in _bootstrap
airflow[9490]:     self.run()
airflow[9490]:   File "/usr/lib/python3.6/multiprocessing/process.py", line 93, in run
airflow[9490]:     self._target(*self._args, **self._kwargs)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/jobs/scheduler_job.py", line 148, in _run_file_processor
airflow[9490]:     result = scheduler_job.process_file(file_path, pickle_dags)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/utils/db.py", line 74, in wrapper
airflow[9490]:     return func(*args, **kwargs)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/jobs/scheduler_job.py", line 1542, in process_file
airflow[9490]:     self._process_dags(dagbag, dags, ti_keys_to_schedule)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/jobs/scheduler_job.py", line 1239, in _process_dags
airflow[9490]:     self._process_task_instances(dag, tis_out)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/utils/db.py", line 74, in wrapper
airflow[9490]:     return func(*args, **kwargs)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/jobs/scheduler_job.py", line 732, in _process_task_instances
airflow[9490]:     run.update_state(session=session)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/utils/db.py", line 70, in wrapper
airflow[9490]:     return func(*args, **kwargs)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/models/dagrun.py", line 318, in update_state
airflow[9490]:     dag.handle_callback(self, success=True, reason='success', session=session)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/utils/db.py", line 70, in wrapper
airflow[9490]:     return func(*args, **kwargs)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/models/dag.py", line 620, in handle_callback
airflow[9490]:     callback(context)
airflow[9490]:   File "/home/airflow/analytics/etl_v2/airflow_data/dags/example_bash_operator_andy.py", line 68, in datadog_event_success
airflow[9490]:     datadog_event(title, text, dag_id, task_id)
airflow[9490]:   File "/home/airflow/analytics/etl_v2/airflow_data/dags/example_bash_operator_andy.py", line 45, in datadog_event
airflow[9490]:     hook.post_event(title, text, tags)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/contrib/hooks/datadog_hook.py", line 157, in post_event
airflow[9490]:     self.validate_response(response)
airflow[9490]:   File "/home/airflow/virtualenv/lib/python3.6/site-packages/airflow/contrib/hooks/datadog_hook.py", line 58, in validate_response
airflow[9490]:     if response['status'] != 'ok':
airflow[9490]: KeyError: 'status'

但是，我的所有日志都不是在计划程序、Web服务器、工作程序或任务日志中的错误之前或之后登录的

我已经通过手动导入代码测试了我的Airflow worker上的

datadog_事件

调用，并在以这种方式运行时正确记录：

airflow@airflow-worker-0:~/analytics$ /home/airflow/virtualenv/bin/python -i /home/airflow/analytics/etl_v2/airflow_data/dags/example_bash_operator_andy.py
[2019-08-07 20:48:01,890] {settings.py:213} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=29941
[2019-08-07 20:48:02,227] {__init__.py:51} INFO - Using executor DaskExecutor

>>> datadog_event('My title', 'My task', 'example_bash_operator_andy', 'run_this_last')
[2019-08-07 20:51:17,542] {datadog_hook.py:54} INFO - Setting up api keys for Datadog
[2019-08-07 20:51:17,544] {example_bash_operator_andy.py:38} INFO - My title
[2019-08-07 20:51:17,544] {example_bash_operator_andy.py:39} INFO - My task
[2019-08-07 20:51:17,544] {example_bash_operator_andy.py:40} INFO - example_bash_operator_andy
[2019-08-07 20:51:17,545] {example_bash_operator_andy.py:41} INFO - run_this_last
[2019-08-07 20:51:17,658] {api_client.py:139} INFO - 202 POST https://api.datadoghq.com/api/v1/events (113.2174ms)

My

airflow.cfg

发布在，我使用的是airflow 1.10.4

如何从DAG本身输出日志或消息以更好地调试可能发生的情况？

DAG级别回调（成功时、失败时）发生在主计划程序循环中。在回调函数中引发的异常将出现在计划程序日志中。然而，令人恼火的是，

打印

和

日志记录

似乎没有进入调度程序日志

出于调试的目的，我通常只会将我试图记录的信息作为一个例外，这样它就会出现在调度程序日志中

或者，您可以将回调移动到任务级别。这意味着将其移动到默认参数中，如下所示：

args = {
    'owner': 'airflow',
    'start_date': airflow.utils.dates.days_ago(2),
    'on_success_callback': datadog_event_success
}

dag = DAG(
    dag_id='example_callback',
    default_args=args,
    schedule_interval='*/5 * * * *',
    dagrun_timeout=timedelta(minutes=60)
)

---

您的回调日志现在将显示在任务日志（而不是调度程序日志）中。但是，这意味着将为每个符合条件的任务调用回调，而不是仅为DAG调用一次。

您在airflow.cfg上的日志记录级别是多少？

INFO

，如果有帮助，我可以发布

airflow.cfg

。除了将Dask用作执行器的设置和为我的环境设置正确的连接之外，它是默认设置。另外，我终于解决了我的主要问题。但是我的问题对于以后的调试和DAG日志记录仍然有效。您还可以添加您正在使用的版本吗？只是在成功的情况下，回调或在其他地方登录都不起作用。我能想到的两件事你可能想检查一下，1。您是否在配置中设置了logging_config_类。2.您是否有远程_日志记录设置，如果有，您是否在那里获得任何数据？我使用的是Airflow 1.10.4。我已经编辑了这个问题，添加了一个到

afflow.cfg

的链接。我没有更改任何日志记录。它是默认的（日志记录到文件，没有远程日志记录或自定义类）。我认为您可以尝试的一件事是设置logging\u config\u类，它现在还不是现成的。也许这在最近的版本中有所改变？我没有看到这项工作。我有使用常规日志库的非回调任务，但仍然找不到日志。我正在记录一个静态单词

etlpipline

，在系统上的任何日志文件或进程中的标准输出中都找不到该单词。我输入了一个拼写错误。如果我改写的答案有帮助，请告诉我。