Python 使用panda'写入/附加到非常大的csv；s to_csv

我正在使用pandas read_csv打开一个非常大的csv，并设置了chunksize，因为csv太大，无法放入内存。我正在对每个块执行转换。然后，我想将转换后的df块附加到另一个现有（非常大）csv的末尾

---

不过，我一直遇到内存不足的错误。pandas to_csv（mode='a'，header=False）是否打开csv以附加新块？换句话说，to_csv（）是否导致我的内存错误

我有过好几次同样的问题。您可以尝试将数据块导出到多个csv（无标题）中，然后使用非pandas函数将其连接起来（例如，在从不同csv读取的文本文件上写入新行）

它需要根据定义将其打开。也就是说，如果不读入文件，仅打开文件不应导致内存错误。张贴a；很有可能，您保存数据的时间比您想象的要长，或者加载的数据比您想象的要大。