Ubuntu 气流任务：操作错误：[Errno 23]系统中打开的文件太多

是否有人在S3 PrefixSensor中出现此错误

OSError:[Errno 23]系统中打开的文件太多：'/usr/local/lib/python3.6/dist-packages/botocore/data/endpoints.json'

当调度器与该操作员同时运行12个任务时，我就出现了这个错误。如果我手动重新运行它们，它们工作正常

我试着按照这个问题的答案增加ulimit，但对我无效：

---

奇怪的是出现了错误，因为我在同一时间只运行了12个任务。这是S3传感器操作员的问题吗？

您在评论中提到您使用的

气流传感器.S3\u前缀传感器.S3PrefixSensor

这是传感器的过时版本

更新版本包含缓存挂钩并防止每次传感器戳时创建新连接的功能

对于

气流=2.0.0

安装：

然后通过以下方式导入传感器：

from airflow.providers.amazon.aws.sensors.s3_prefix import S3PrefixSensor

---

sudo lsof | grep-c endpoints.json和
ulimit-a | grep'open files'
@lllrnr101的输出是什么第一个命令的输出是0，第二个命令的输出是
open files（-n）500240
该死！然后我会把这个问题加入书签，看看你最终是如何解决的。启动程序后，我还会关注
lsof | grep-c
。您是否从
aiffort.sensors.s3_prefix_sensor.s3 prefixsensor
导入传感器？@Elad是的，我是。
pip install apache-airflow-providers-amazon

from airflow.providers.amazon.aws.sensors.s3_prefix import S3PrefixSensor