Python dask可以读取块中的压缩文件吗？

Dask是否能够以块的形式读取压缩文件

我在读取.xz文件时收到几个错误

import dask.bag as db

bag = db.read_text('data/1-input/RC_2018-09.xz', blocksize=100e6).map(json.loads)

ValueError:无法从使用compression='xz'压缩的文件推断逻辑大小

ValueError:无法对使用compression='xz'压缩的文件执行分块读取。要读取，请设置blocksize=None

显式设置

compression='xz'

也会导致错误

深入挖掘，我看到一些关于中xz文件的行被注释掉了，所以我想知道这是否是被禁用的内容

根据，它确实支持随机访问读取到有限的块大小

这对我来说并不重要——我总是可以解压然后运行Dask——这只会节省一些磁盘空间

---

谢谢

XZ确实支持压缩，但在实践中非常罕见。维护它的成本最终超过了它的使用成本，因此维护人员停止了对该功能的维护。如果您有兴趣进行维护，那么这将是受欢迎的，并且可以再次添加