Python 将临时数据存储在阵列中还是将其保存到文件以供以后访问更好？

这是一个广泛的问题。我正在用Python运行一个非常长的模拟，它生成了大量数据，大约10000个729*729矩阵。我只需要这些数据就可以画出几张图，然后我就完成了。目前，我将数据保存在numpy数组中。当模拟完成时，我绘制数据

另一种方法是将数据写入文件，然后在模拟后访问该文件以绘制图形等

---

一般来说，对于管理大型临时数据集的最佳（即最快）方法存在共识。以下哪一种是最佳做法？

通过进一步处理/积累，如立即绘图，尽可能快地使数据过时

您没有提供所需内存/存储的详细信息。对于稀疏矩阵，存在有效的表示。如果矩阵不是稀疏的，那么每个矩阵大约有500k个条目，因此总共有5G个条目。在不知道数据类型的情况下，这通常可能是40GB的内存

---

我强烈建议您检查算法，以减少内存占用。

那么问题是什么？您当前的解决方案非常慢？如果它起作用，效率也不是问题，我会保持原样。这取决于许多其他因素。现在很慢吗？您的系统分页是否过度？你需要恢复力吗？也就是说，如果出现故障，您想重新启动吗？您能重新启动吗？？数据集将来会变大吗？如果它没有坏，就不要修好。