Database HDF5与数据库最佳实践

Database HDF5与数据库最佳实践,database,sqlite,hdf5,data-management,Database,Sqlite,Hdf5,Data Management,我试图建立一个系统来组织包含在大量HDF5文件中的数据。从我所读到的内容来看,满足我需求的最简单方法似乎是创建一个SQLite数据库,其中包含文件路径及其顶级元数据 由于我对数据库没有太多的经验,我想知道维护这样一个数据库的最佳实践是什么(大约有五个人会使用这个数据库)。我是否应该编写一个脚本,在每次将文件添加到数据库时运行,将HDF5元数据复制到SQLite表中?如有任何建议,将不胜感激 我还想知道HDF5文件通常是如何使用的,或者将一个人的所有数据放在一个HDF5文件中,而不是放在一个数据库

我试图建立一个系统来组织包含在大量HDF5文件中的数据。从我所读到的内容来看,满足我需求的最简单方法似乎是创建一个SQLite数据库,其中包含文件路径及其顶级元数据

由于我对数据库没有太多的经验,我想知道维护这样一个数据库的最佳实践是什么(大约有五个人会使用这个数据库)。我是否应该编写一个脚本,在每次将文件添加到数据库时运行,将HDF5元数据复制到SQLite表中?如有任何建议,将不胜感激


我还想知道HDF5文件通常是如何使用的,或者将一个人的所有数据放在一个HDF5文件中,而不是放在一个数据库中是不是很常见

你可以这么做。不过,我建议您查看HDF5中的外部链接。这样就没有元数据的重复,您可以编写一个简单的顶级程序来更新顶级hdf5文件中的链接。那么所有的数据访问都可以通过顶级文件完成。换句话说,只需要一个HDF5文件,它链接到所有其他文件中的根组?那是个好主意。谢谢对它将所有内容都保存在HDF5中(无需添加SQL代码等)。然后您也可以从顶级文件访问数据集。