Fatal编程技术网
  • database/
  • Database 如何解决Airflow Scheduler中的DB连接无效警告？

Database 如何解决Airflow Scheduler中的DB连接无效警告？

database postgresql sqlalchemy airflow

Database 如何解决Airflow Scheduler中的DB连接无效警告？,database,postgresql,sqlalchemy,airflow,airflow-scheduler,Database,Postgresql,Sqlalchemy,Airflow,Airflow Scheduler,我正在将Airflow实例从1.9升级到1.10.3，每当调度程序现在运行时，我都会收到一条警告，表明数据库连接已失效，并且正在尝试重新连接。这些错误会连续出现。控制台还指示正在计划任务，但如果我检查数据库，则不会写入任何内容 以下警告显示在以前未显示的位置 [2019-05-21 17:29:26,017] {sqlalchemy.py:81} WARNING - DB connection invalidated. Reconnecting... 最终，我也会得到这个错误 FATAL: r

我正在将Airflow实例从1.9升级到1.10.3，每当调度程序现在运行时，我都会收到一条警告，表明数据库连接已失效，并且正在尝试重新连接。这些错误会连续出现。控制台还指示正在计划任务，但如果我检查数据库，则不会写入任何内容

以下警告显示在以前未显示的位置

[2019-05-21 17:29:26,017] {sqlalchemy.py:81} WARNING - DB connection invalidated. Reconnecting...
最终，我也会得到这个错误

FATAL: remaining connection slots are reserved for non-replication superuser connections
我曾尝试在
aiffort.cfg
中增加SQL Alchemy池大小设置，但没有效果

# The SqlAlchemy pool size is the maximum number of database connections in the pool.
sql_alchemy_pool_size = 10
我使用的是CeleryExecutor，我想可能是工作人员的数量使数据库连接过载了

我运行了三个命令，
airflow webserver
，
airflow scheduler
，和
airflow worker
，因此应该只有一个worker，我不明白为什么这会使数据库过载

如何解决数据库连接错误？是否有增加数据库连接数的设置，如果有，在哪里？我需要以不同的方式对待工人吗

更新：

即使没有工作进程运行，重新启动Web服务器和调度程序，当调度程序填满气流池时，DB connection警告开始出现

更新2:

我在Jira中发现了以下问题：

有些人说他们看到了同样的问题。目前尚不清楚这是否直接导致了一些人所看到的崩溃，或者这只是一个恼人的装饰性日志。到目前为止，尚未解决此问题。

最新版本的Airflow已解决此问题

我相信它是通过将SQLAlchemy更新为新版本而修复的