Airflow+sqlalchemy到元数据数据库的短期连接

Airflow+sqlalchemy到元数据数据库的短期连接,sqlalchemy,celery,airflow,Sqlalchemy,Celery,Airflow,我在centos 7.5虚拟机上部署了最新的airflow,并将sql_alchemy_conn和result_后端更新到postgresql实例上的postgres数据库,并将我的执行者指定为CeleryExecutor。在根本不启用任何dag的情况下,甚至在没有启动气流调度器的情况下,我看到大约每5秒建立一个连接,然后准备运行SELECT 1和SELECT CAST“test plain returns”作为VARCHAR60作为anon_1 当启动调度程序并打开DAG时,短期连接的数量急剧

我在centos 7.5虚拟机上部署了最新的airflow,并将sql_alchemy_conn和result_后端更新到postgresql实例上的postgres数据库,并将我的执行者指定为CeleryExecutor。在根本不启用任何dag的情况下,甚至在没有启动气流调度器的情况下,我看到大约每5秒建立一个连接,然后准备运行SELECT 1和SELECT CAST“test plain returns”作为VARCHAR60作为anon_1

当启动调度程序并打开DAG时,短期连接的数量急剧增加。有人知道原因吗?这是心跳检查还是任务状态检查?如果在afflow.cfg中启用sql\u alchemy\u pool\u=True,这些连接是否应该不再存在?是否有一个日志,我可以看看,以查明这些联系的来源亚秒生命

用于参考的配置值

    executor = CeleryExecutor
    sql_alchemy_conn = postgres://..../db1
    sql_alchemy_pool_enabled = True
    sql_alchemy_pool_size = 5
    sql_alchemy_max_overflow = 0
    parallelism = 32
    dag_concurrency = 16
    max_active_runs_per_dag = 16
    worker_concurrency = 16
    broker_url = redis://...
    result_backend = db+postgresql+psycopg2://.../db2
    job_heartbeat_sec = 5
    scheduler_heartbeat_sec = 5

尝试使用适当的数字添加sql\u alchemy\u pool\u大小。如果不指定,则默认值为5。因此,尝试增加tanks@kaxil的数量,池大小为5。增加它似乎有帮助,直到我打开一个dag,它立即将我的短期连接数增加了三倍。关闭dag似乎并没有关闭ping数据库的进程。我仍然看到大量的select 1和select cast“test plain returns”作为。。。我是否缺少确保这些ping使用来自sqlalchemy连接池的连接的设置?另外,你能给我指一下我应该看到的日志吗?因为我在气流日志中似乎找不到任何东西。设置logging_level=DEBUG为我提供了更多关于通过settings.py使用sqlalchemy发生了什么的信息。请忽略我的日志question@chi在建立日志记录后,您是否曾发现任何有前途的事情?尽管启用了连接池,但我自己现在也遇到了同样的问题,连接数量很大。对此有什么后续措施吗??