Python 乔布里与熊猫

Python 乔布里与熊猫,python,python-3.x,pandas,parallel-processing,joblib,Python,Python 3.x,Pandas,Parallel Processing,Joblib,关于使用内存映射文件在Joblib中持久化Numpy数组,有很好的文档 在最新版本中,Joblib(显然)将以这种方式自动持久化并共享Numpy数组 Pandas数据帧是否也将被持久化,或者用户是否需要手动实现持久化?因为Pandas数据帧构建在Numpy阵列上,是的,它们将被持久化 Joblib通过连接到pickle协议来实现其优化的持久性。任何在其pickle表示中包含numpy数组的内容都将受益于Joblib的优化。为了澄清,这意味着数据帧中的底层数据将被memmapped,而不会复制到每

关于使用内存映射文件在Joblib中持久化Numpy数组,有很好的文档

在最新版本中,Joblib(显然)将以这种方式自动持久化并共享Numpy数组


Pandas数据帧是否也将被持久化,或者用户是否需要手动实现持久化?

因为Pandas数据帧构建在Numpy阵列上,是的,它们将被持久化


Joblib通过连接到pickle协议来实现其优化的持久性。任何在其pickle表示中包含numpy数组的内容都将受益于Joblib的优化。

为了澄清,这意味着数据帧中的底层数据将被memmapped,而不会复制到每个进程?