pyarrow保存python对象

pyarrow保存python对象,python,python-3.x,serialization,pyarrow,Python,Python 3.x,Serialization,Pyarrow,我已经试着把我的头绕在pyarrow上一段时间了,阅读他们的文档,但我仍然觉得我无法完全理解它。我看到了他们针对任意python对象的非加密序列化方法,但由于它已被弃用,我想知道通常保存对象列表或任意python对象的正确方法是什么 什么时候也要麻烦使用pyarrow?pyarrow是针对(Apache)Arrow的python绑定。Arrow是一种跨语言规范,描述如何在内存中存储列数据。它作为数据处理应用程序和库的内部构件,使它们能够高效地处理大型表格数据集 你想什么时候也麻烦使用pyarro

我已经试着把我的头绕在pyarrow上一段时间了,阅读他们的文档,但我仍然觉得我无法完全理解它。我看到了他们针对任意python对象的非加密序列化方法,但由于它已被弃用,我想知道通常保存对象列表或任意python对象的正确方法是什么


什么时候也要麻烦使用pyarrow?

pyarrow是针对(Apache)Arrow的python绑定。Arrow是一种跨语言规范,描述如何在内存中存储列数据。它作为数据处理应用程序和库的内部构件,使它们能够高效地处理大型表格数据集

你想什么时候也麻烦使用pyarrow


PyArrow的一个简单用例是在Pandas/Numpy/dict和Parquet文件格式之间进行转换。例如,如果您有需要在使用不同语言编写的程序之间共享的列数据(例如数据帧),或者甚至需要在使用不同版本python的程序之间共享的列数据,那么一个很好的方法就是将Pandas/Numpy/dict保存到拼花文件(序列化)。这是一种更易于移植的格式,例如pickle。它还允许您以可移植的方式嵌入自定义元数据。

对于保存任意python对象,如果使用特定于python的格式适合您的应用程序,您可以使用它。Arrow特别关注列数据(数据帧/表)。