Python keras-HDF5矩阵原因“;“打开的文件太多”;错误
Python keras-HDF5矩阵原因“;“打开的文件太多”;错误,python,keras,hdf5,large-data,Python,Keras,Hdf5,Large Data,HDF5MatrixKeras函数导致OSError:[Errno 24]打开的文件过多错误。我有~1200个hdf5文件,用于训练神经网络。我的系统中打开的最大文件数限制为1024。我是否以错误的方式使用了HDF5Matrix函数,或者是函数中的错误 除了编写自己的hdf5reader之外,我的情况还有什么解决办法吗 我读取文件的代码: while True: file = .... # choose file to open x1 = HDF5Matrix(file
HDF5Matrix
Keras函数导致OSError:[Errno 24]打开的文件过多
错误。我有~1200个hdf5
文件,用于训练神经网络。我的系统中打开的最大文件数限制为1024。我是否以错误的方式使用了HDF5Matrix
函数,或者是函数中的错误
除了编写自己的hdf5
reader之外,我的情况还有什么解决办法吗
我读取文件的代码:
while True:
file = .... # choose file to open
x1 = HDF5Matrix(file, 'small')
x2 = HDF5Matrix(file, 'vgg224')
y = HDF5Matrix(file, 'ab_hist')
# do something with x1, x2,
请解释为什么你必须打开所有这些文件,而不是一个接一个地打开、读取和关闭它们。@Anthon我不想让它们打开,但我认为
HDF5Matrix
本身就是这样做的。如果我是你,我不会掩盖内置文件的名称,但是如果您提交了一个到HDF5Matrix
的路径,那么您确实无法控制要关闭的文件。您可以尝试使用新线程或进程写入每个文件。这样,它的写入速度会更快,而且您可以确保文件肯定正在关闭