Memory leaks 读取多个大小不同的文件时,struct.unpack()内存泄漏导致MemoryError

Memory leaks 读取多个大小不同的文件时,struct.unpack()内存泄漏导致MemoryError,memory-leaks,struct,data-files,Memory Leaks,Struct,Data Files,我正在使用struct.unpack()读取多个不同长度的数据文件。它适用于200MB左右的文件,但当文件大小超过200MB时,会在struct.unpack()中提供MemoryError。在上的一次相关讨论中提到,struct.unpack()对于相同长度的数据文件工作良好,如果数据文件的长度不同,则会产生内存泄漏。我进一步测试了多个相同大小的文件,这些文件的累积容量高达2GB,效果很好 那么,使用struct.unpack()读取多个不同长度文件的解决方案是什么 多谢各位 -萨比现在问题解

我正在使用struct.unpack()读取多个不同长度的数据文件。它适用于200MB左右的文件,但当文件大小超过200MB时,会在struct.unpack()中提供MemoryError。在上的一次相关讨论中提到,struct.unpack()对于相同长度的数据文件工作良好,如果数据文件的长度不同,则会产生内存泄漏。我进一步测试了多个相同大小的文件,这些文件的累积容量高达2GB,效果很好

那么,使用struct.unpack()读取多个不同长度文件的解决方案是什么

多谢各位
-萨比现在问题解决了。与使用struct.unpack()读取多个不同长度的数据文件不同,numpy.fromfile()的查找速度更快,不再存在多个不同数据长度的文件的问题。 因此,建议numpy.fromfile()读取具有不同数据长度的多个文件。我已经测试了大约2GB(>250个文件)。 萨比