Python 3.x 当使用500GB ram时，取消激发3.5 GB csv时出现内存错误

当使用500GB ram时，取消激发3.5 GB csv时出现内存错误。是否有任何解决方案/功能可用于取消归档巨大的CSV文件？。当前的csv有5000多列。

我也在为同样的问题苦苦挣扎，无意中发现了你的主题。下面是我对@run out suggestion（按块迭代并连接）的实现：

---

非常简单，但这确实使融化速度大大加快。

我自己没有尝试过，所以这只是一个建议，但您是否尝试过将数据帧按行分割，使其更小，然后在最后连接。你可以在一个循环中轻松地做到这一点。@run out我也在努力解决同样的问题，并尝试了你的建议，一行一行地迭代，最后连接确实使融化速度大大加快。我将在下面提供我的解决方案。

pivot_list = list()
chunk_size = 100000

for i in range(0,len(df_final),chunk_size):
    row_pivot =df_final.iloc[i:i+chunk_size].melt(id_vars=new_vars,value_vars=new_values)
    pivot_list.append(row_pivot)

df = pd.concat(pivot_list)