Lsof为python显示了许多打开的文件 上下文

我正在使用我没有编码的特定库对网络数据进行一些计算。我有两个小数据集（数百行）和大数据集（多达10k行）

小数据集运行良好，但大数据集不仅在进行计算（这是预期的），而且在将结果保存到文件中（这似乎很奇怪），因为我只是将一个小的

pandas

DataFrame保存到csv中

最后，在Jupyter笔记本中执行相同操作时，我遇到了错误：

保存文件时出现意外错误：打开的文件太多

我将其归因于Jupyter，但导致我检查了

lsof

我的问题: 我通过在Bash中键入以下内容来检查打开的文件数：

lsof 2>/dev/null | grep name.name | cut-f 1-d'| sort | uniq-c

（因为我在共享服务器上，所以我必须对我的用户进行grep）

我得到这样的东西：

34 bash
9切
13格雷普
103 jupyter-l
30 lsof
12144蟒蛇3
4（sd-pam）
10类
4 sshd
60系统D
9 uniq
103 ZMQbg/19
103 ZMQbg/20
103 ZMQbg/25
412 ZMQbg/9

我看到

python3

旁边有一个大数字：可以吗

---

注意：在脚本运行的整个过程中，小型和大型数据集都会发生这种情况。

我将使用尽可能少的文件构建一个单独的目录，看看结果是否与上述内容相关。目前还不清楚，这是一个数据集（小型或大型）一组单独的文件，或一小部分由您的进程解析的文件（猜测前者）。祝您好运。数据集只有15个文件，其中大多数是小文件，只有4个是大文件。我只是将“边”改为“行”那么问题就更清楚了。你的问题是什么：安全问题？还是你只想让它运行？如果你想让它运行，你可以在运行脚本之前使用

ulimit-n unlimited

编辑linux上打开的文件数，你可以执行

strace-e open python3

或类似操作来获取所有打开的文件d、 就连美国也失败了ones@geckos我的问题是理解python脚本打开这么多文件是否合适，以及这是否会导致脚本速度减慢（尤其是在保存到文件时）。如果我发现一些有趣的内容，我将使用

strace

进行检查。我将使用尽可能少的文件构建一个单独的目录，看看结果是否与上述内容相关。不清楚的是，数据集（大小）是一组单独的文件，还是进程解析的少量文件（猜测前者）。祝你好运。数据集只有15个文件，其中大多数是小的，只有4个是大的。我只是用“行”来更改“边”那么问题就更清楚了。你的问题是什么：安全问题？还是你只想让它运行？如果你想让它运行，你可以在运行脚本之前使用

ulimit-n unlimited

编辑linux上打开的文件数，你可以执行

strace-e open python3

或类似操作来获取所有打开的文件d、 就连美国也失败了ones@geckos我的问题是理解python脚本打开这么多文件是否合适，以及这是否会导致脚本速度减慢（尤其是在保存到文件时）。如果我发现一些有趣的东西，我将与

strace

进行检查。