Airflow 气流504网关超时

Airflow 气流504网关超时,airflow,Airflow,很多时候,当我试图打开UI中某些DAG的树状视图或任务持续时间页面时,我会得到错误:504网关超时。 有时在那之后,我甚至无法打开包含DAG列表的页面。 你知道这个问题是从哪里来的吗 运行气流的机器的CPU和内存似乎很好,我使用RDS作为元数据 谢谢 我以前也经历过这种情况。我相信这是由HTTP请求造成的,Web服务器的gunicorn worker完成该请求所需的时间比预期的要长。例如,如果将DAG树状图设置为较高的设置,例如为具有大量任务的DAG运行365次DAG,则可以始终如一地复制此设置

很多时候,当我试图打开UI中某些DAG的树状视图或任务持续时间页面时,我会得到错误:504网关超时。 有时在那之后,我甚至无法打开包含DAG列表的页面。 你知道这个问题是从哪里来的吗

运行气流的机器的CPU和内存似乎很好,我使用RDS作为元数据


谢谢

我以前也经历过这种情况。我相信这是由HTTP请求造成的,Web服务器的gunicorn worker完成该请求所需的时间比预期的要长。例如,如果将DAG树状图设置为较高的设置,例如为具有大量任务的DAG运行365次DAG,则可以始终如一地复制此设置

您可以尝试在Web服务器上增加超时设置,看看它是否有不同吗

  • 首先,尝试在
    [webserver]
    组下增加
    web\u服务器\u工作者\u超时时间(默认值为120秒)
  • 如果这不能解决问题,您还可以尝试在同一组下增加
    web\u服务器\u主机\u超时时间
  • 另一种尝试的技术是将Web服务器
    worker\u class
    (默认值=
    sync
    )切换到
    eventlet
    gevent
参考:

请注意,替代的worker类需要使用
async
extras安装Airflow,例如:

pip install apache-airflow[async]

您可以在此问题中找到有关gunicorn工作超时的更多信息:。

Version?它在哪里运行?你有多少只狗?日志记录有错误吗?网络设置如何?我们需要更多的信息来提供帮助。你能分享你的Web服务器日志和504个错误吗?Hi@shankshera-我将你的建议编辑标记为拒绝,因为这是Py中可选子依赖项的官方技术术语(不是“子包”,因为它实际上不是子包)。就添加引号而言,在shell中运行此命令不需要引号-例如,请参见。