Python keras-HDF5矩阵原因“;“打开的文件太多”;错误

Python keras-HDF5矩阵原因“;“打开的文件太多”;错误,python,keras,hdf5,large-data,Python,Keras,Hdf5,Large Data,HDF5MatrixKeras函数导致OSError:[Errno 24]打开的文件过多错误。我有~1200个hdf5文件,用于训练神经网络。我的系统中打开的最大文件数限制为1024。我是否以错误的方式使用了HDF5Matrix函数,或者是函数中的错误 除了编写自己的hdf5reader之外,我的情况还有什么解决办法吗 我读取文件的代码: while True: file = .... # choose file to open x1 = HDF5Matrix(file

HDF5Matrix
Keras函数导致
OSError:[Errno 24]打开的文件过多
错误。我有~1200个
hdf5
文件,用于训练神经网络。我的系统中打开的最大文件数限制为1024。我是否以错误的方式使用了
HDF5Matrix
函数,或者是函数中的错误

除了编写自己的
hdf5
reader之外,我的情况还有什么解决办法吗

我读取文件的代码:

while True:    
    file = .... # choose file to open 
    x1 = HDF5Matrix(file, 'small')
    x2 = HDF5Matrix(file, 'vgg224')
    y = HDF5Matrix(file, 'ab_hist')

    # do something with x1, x2,

请解释为什么你必须打开所有这些文件,而不是一个接一个地打开、读取和关闭它们。@Anthon我不想让它们打开,但我认为
HDF5Matrix
本身就是这样做的。如果我是你,我不会掩盖内置
文件的名称,但是如果您提交了一个到
HDF5Matrix
的路径,那么您确实无法控制要关闭的文件。您可以尝试使用新线程或进程写入每个文件。这样,它的写入速度会更快,而且您可以确保文件肯定正在关闭