Python 不使用';我记不起来了

Python 不使用';我记不起来了,python,memory,dask,Python,Memory,Dask,如果集合不适合内存,那么除了dask.compute()之外还有什么选择?某种内存映射 我看了一遍,但没看清楚。你说得对,调用.compute()通常会生成内存中的对象,如NumPy数组或Pandas数据帧,这些对象必须放在内存中 这通常不是问题,因为许多分析的输出往往很小(比如在绘图中结束的数据点),或者因为输出是有意存储的,比如df.to_parquet(“…”)。然而,有时您确实希望触发计算,但要将数据驻留在分布式内存中。在这种情况下,人们倾向于使用.persist()方法,而不是.com

如果集合不适合内存,那么除了
dask.compute()
之外还有什么选择?某种内存映射


我看了一遍,但没看清楚。

你说得对,调用
.compute()
通常会生成内存中的对象,如NumPy数组或Pandas数据帧,这些对象必须放在内存中

这通常不是问题,因为许多分析的输出往往很小(比如在绘图中结束的数据点),或者因为输出是有意存储的,比如
df.to_parquet(“…”)
。然而,有时您确实希望触发计算,但要将数据驻留在分布式内存中。在这种情况下,人们倾向于使用
.persist()
方法,而不是
.compute()

有关更多信息,请参阅