Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/actionscript-3/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 经常打开&;关闭hdf5文件?_Python_Hdf5_H5py - Fatal编程技术网

Python 经常打开&;关闭hdf5文件?

Python 经常打开&;关闭hdf5文件?,python,hdf5,h5py,Python,Hdf5,H5py,我的数据管道经常中断,导致hdf5文件无法关闭;大约每秒需要读取一次。我没有保持文件打开并直接读取,而是考虑使用……:data=hdf5[key]来保证关闭。我读到过并发访问hdf5文件可能会损坏它,但没有发现频繁打开和关闭的材料;是否有任何稳定性/腐败问题需要注意 注意:我一次访问一小部分(1/100)数据(60GB+),以迭代方式,每次访问不同的数据块,并以循环方式(每次访问顺序不同)。@MisterMiyagi我认为hdf5可能需要加载完整的结构来修改它,就像加载一个巨大的JSON一样?在

我的数据管道经常中断,导致hdf5文件无法关闭;大约每秒需要读取一次。我没有保持文件打开并直接读取,而是考虑使用……:data=hdf5[key]来保证关闭。我读到过并发访问hdf5文件可能会损坏它,但没有发现频繁打开和关闭的材料;是否有任何稳定性/腐败问题需要注意


注意:我一次访问一小部分(1/100)数据(60GB+),以迭代方式,每次访问不同的数据块,并以循环方式(每次访问顺序不同)。

@MisterMiyagi我认为hdf5可能需要加载完整的结构来修改它,就像加载一个巨大的JSON一样?在这种情况下,I/O可能需要相当长的时间。或者,也许我不久前玩的时候用错了:)@mistermiagi这是一个理智检查-hdf5是一个复杂的数据结构,任何东西都可以。例如,为什么它不允许从自身删除数组,或者有各种各样的间歇性错误?谁知道呢?这就是问题所在。我总是将带有h5py.File()的
作为h5f:
构造用于生产代码以确保关闭。我不做并发读访问,所以不能对此发表评论。在“读取”模式下打开时,您应该不会有问题。如果需要从多个并发进程进行读取访问,请查看SWMR模式(单写、多读)。此外,您无需打开/关闭文件即可访问数据。打开一次,然后根据需要访问,最后关闭。