python ray-pyarrow.lib.arrow无效：超出最大大小（2GB）

我正在尝试使用ray加载和处理大型文件

我使用ray是为了多处理文件和提高解决方案的速度

我一直遇到这个pyarrow错误：

pyarrow.lib.arrow无效：超过最大大小（2GB）

。这似乎与plasma对象存储有关

我曾尝试使用巨大的_页面并将其装载到plasma存储中，增加init上光线对象存储的大小

---

任何帮助都很好。

您使用的是什么版本？这在0.15.0中似乎是固定的