如何将气流日志发送到Azure Blob存储

我在遵守第3.6.5.3节“将日志写入Azure Blob存储”时遇到问题

文档说明您需要一个活动的Azure Blob存储挂钩。我不知道如何创建这个。一些消息来源说您需要在UI中创建钩子，一些消息来源说您可以使用环境变量。无论哪种方式，我的日志都不会写入blob store，我已经束手无策。

Azure blob store钩子（或任何钩子）告诉overflow如何写入Azure blob store。这已包含在最新版本的airflow中

---

您需要确保钩子能够写入Azure Blob存储。只需提及

REMOTE\u BASE\u LOG\u文件夹

bucket的名称应与

wasb xxx

类似。一旦您处理好这两件事，就可以顺利完成，

我通过以下步骤实现了将日志写入blob

在气流文件夹中创建名为

config

的文件夹

在

config

文件夹中创建空的

\uuuuu init\uuuuuuuuuuuuuuuuuuuuuuuuupy

和

log\u config.py

文件

在您的机器中搜索

气流\u本地\u设置.py

/home/user/env/lib/python2.7/site-packages/afflow/config\u templates/afflow\u local\u settings.py /home/user/env/lib/python2.7/site-packages/afflow/config_templates/afflow_local_settings.pyc

跑

编辑气流.cfg[core]部分

remote\u logging=True

remote\u log\u conn\u id=log\u sync

remote\u base\u log\u文件夹=wasb://airflow-logs@存储帐户.blob.core.windows.net/logs/

logging\u config\u class=log\u config.DEFAULT\u logging\u config

添加

log\u sync

连接对象，如下所示

安装azure依赖项

pip安装apache airflow[azure]

重新启动Web服务器和计划程序

---

因此，我会在我的DAG包中放入一个文件，该文件创建了一个wasb_挂钩，该挂钩使用我在Airflow中指定的连接id。如果将环境变量AIRFLOW_CONN_AZURE_LOGGING设置为容器的wasb url，我会将日志挂钩的wasb_CONN_id属性设置为“AZURE_LOGGING”是否正确？

cp /home/user/env/lib/python2.7/site-packages/airflow/config_templates/airflow_local_settings.py config/log_config.py