Python 如何命名HDF5数据集中的列?
我用h5py制作了一个数据集:Python 如何命名HDF5数据集中的列?,python,hdf5,h5py,Python,Hdf5,H5py,我用h5py制作了一个数据集: f = h5py.File("experimentReadings.hdf5", "w") dset = f.create_dataset("physics", (5,4), dtype='f') 我有一个变量名列表:namesList=['height','mass','velocity','gravity'] 我希望这些变量名是dset中列的名称 目前,列的名称只有数字0,1,2,3,如下所示: dset[:,0].column_name = namesLi
f = h5py.File("experimentReadings.hdf5", "w")
dset = f.create_dataset("physics", (5,4), dtype='f')
我有一个变量名列表:namesList=['height','mass','velocity','gravity']
我希望这些变量名是dset
中列的名称
目前,列的名称只有数字0,1,2,3
,如下所示:
dset[:,0].column_name = namesList[0]
dset[:,1].column_name = namesList[1]
etc...
我想这样:
dset[:,0].column_name = namesList[0]
dset[:,1].column_name = namesList[1]
etc...
我想我正在寻找这样的代码:
dset[:,0].column_name = namesList[0]
dset[:,1].column_name = namesList[1]
etc...
无论解决方案是什么,它都需要处理我正在使用的真实数据集,其中
名称列表
有280000个单词长。关于数据集大小的有趣问题。我见过HDF5文件有10e6行,但没有280000列。你必须进行测试
关于列/文件的名称,可以使用记录数组(如hpaulj所述)。使用NumPy数据类型定义名称。我创建了一些任意数据来填充我的recarray,然后使用data=
参数进行引用
尝试一下:
# Create some data
data1 = np.arange(100.)
data2 = 2.0*data1
data3 = 3.0*data1
data4 = 3.0*data1
# use namesList to define dtype for recarray
namesList = ['height', 'mass', 'velocity', 'gravity']
ds_dt = np.dtype({'names':namesList,'formats':[(float)]*4 })
rec_arr = np.rec.fromarrays([data1, data2, data3, data4], dtype=ds_dt)
with h5py.File("experimentReadings.hdf5", "w") as h5f :
dset = h5f.create_dataset("physics", (100,), data=rec_arr)
h5py
使用numpy
阵列;它们没有列名。如果数组具有混合的数据类型,则可以使用带有命名字段(而不是列)的结构化
数组。但是您可能希望使用pandas
dataframes。它使用pytables
将数据保存到HDF5
文件中。@hpaulj好的,我的数据集是70000行乘280000列,所有数据都是浮点数。pandas会处理这样大小的数据集吗?很好,这肯定会给出列的名称。如何从该数据集中提取一行数据?例如,我可以通过执行dset['mass']
来获得一个列。h5py数据集的工作方式与numpy索引类似。只需使用行索引:dset[0]
作为第一行,使用dset[-1]
作为最后一行,等等。这将返回行中的所有值作为重新排列。您也可以使用dset[0]['mass']
。Pytables有一些很好的方法可以通过条件测试查找和选择行(例如mass>5.
或heightExcellent。假设您想删除一列..如何执行此操作?我不确定您是否可以使用h5py或PyTables从HDF5文件中删除数据列/字段。如果可以,我不知道如何执行此操作。抱歉,非结构化到结构化
功能可能也很方便。