Python 访问Zarr中的一个块

Python 访问Zarr中的一个块,python,sparse-matrix,zarr,Python,Sparse Matrix,Zarr,将阵列以块的形式保存在磁盘上,每个块都是一个单独的文件。有没有办法只访问一个选定的块(文件) 在不将整个数组加载到内存中的情况下,可以确定哪些块是空的吗?除了自己点击FS之外,我不知道有什么方法可以找到块大小。扎尔对此进行了抽象。也许你得解释一下你在干什么 我目前正在从事的项目使用Zarr存储气象数据。我们将数据保存在一个形状为(t,x,y)的三维数组中。除了数据之外,我们还有一个shape(t)数组,它实际上是一个位掩码,用于记录填充的插槽。所以当数据进来的时候,我们写 data[t] = [

将阵列以块的形式保存在磁盘上,每个块都是一个单独的文件。有没有办法只访问一个选定的块(文件)


在不将整个数组加载到内存中的情况下,可以确定哪些块是空的吗?

除了自己点击FS之外,我不知道有什么方法可以找到块大小。扎尔对此进行了抽象。也许你得解释一下你在干什么

我目前正在从事的项目使用Zarr存储气象数据。我们将数据保存在一个形状为
(t,x,y)
的三维数组中。除了数据之外,我们还有一个shape
(t)
数组,它实际上是一个位掩码,用于记录填充的插槽。所以当数据进来的时候,我们写

data[t] = [...]
ready[t] = 1

因此,在查询数据时,我们知道在哪些时隙需要数据,哪些时隙是空的。

除了自己点击FS之外,我不知道有什么方法可以找到块大小。扎尔对此进行了抽象。也许你得解释一下你在干什么

我目前正在从事的项目使用Zarr存储气象数据。我们将数据保存在一个形状为
(t,x,y)
的三维数组中。除了数据之外,我们还有一个shape
(t)
数组,它实际上是一个位掩码,用于记录填充的插槽。所以当数据进来的时候,我们写

data[t] = [...]
ready[t] = 1

因此,在查询数据时,我们知道在哪些时隙需要数据,哪些时隙是空的。

可以通过查看底层
块存储的
方法来查看填充了哪些块。只有包含数据的键才会被填充


这些键的对应值将包含该块的数据,但它将被压缩。如果您想要更多,将鼓励您在Zarr回购中提出问题。

通过查看底层
区块存储的
方法,可以查看填充了哪些区块。只有包含数据的键才会被填充

这些键的对应值将包含该块的数据,但它将被压缩。如果你想要更多,我会鼓励你在Zarr回购协议上提出问题