气流造成连接过多并导致MySQL RDS服务器崩溃

我使用气流连接从RDS SQL实例中提取和处理数据。问题是进程正在生成超过21个连接（尽管我的并发性在cfg文件中设置为4），并且RAM过载。根据我设置流程的方式，我不希望一次有超过6-8个连接。是否有一个好的cfg文件设置或管理面板选项可以让我控制这种行为？我尝试过更新的

sql\u alchemy\u pool\u recycle

，但这并没有解决问题

随着连接数的增加和RDS实例上的RAM饱和，您可以在甘特图上看到系统性能开始下降的位置：

---

在airflow中，您可以通过池限制繁重的并发事务，您可以设置池大小，操作员不会超出池大小

这似乎可行，但我现在有另一个问题：

警告-DagRun for capone_preproc 2017-10-12 18:32:40.342831不存在

。我可以通过直接编辑元数据库来消除这个警告吗？我正在调试触发外部触发的运行，然后删除它们。这似乎是在向meta DB中插入噪音。你可以根据这张票证设置我相信1.9的日志记录级别：@Chenghzi我很难判断池是否正常工作——我创建了一个六任务池，我将这些作业发送给它，但我仍然有比我预期的更多的连接（17），2GB的内存仍然接近最大值。这就是说，这个过程比以前运行得更平稳了。罗杰，我将检查日志级别您可以编辑元数据以删除这些警告，但很可能您会遇到类似的情况。Web服务器、计划程序和工作程序具有活动DAG和任务的缓存。您在sqlalchemy下使用的是什么连接库？我们的设置与您的设置不完全相同（我们正在运行aurora克隆mysql），但我们正在运行大约100个并发任务，并且我们没有看到超过6个并发连接的峰值。