Python 如何编写一个包含10cr行和10列的大型csv

我有一个熊猫数据框，有10多个cr行和10列。我想用csv格式写。目前我正在使用以下

  df.to_csv("df1.csv")

---

写这个文件要花很长时间。我们可以压缩它然后将其写入csv吗

不确定这是否有必要加快速度，但您可以将df拆分为单独的df并将其写出

# split df into 10 chunks
batch = 0
for chunk in np.array_split(df, 10):
    filename = 'my_filename_' + str(batch) + '.csv'    
    chunk.to_csv(filename, compression='zip')
    batch +=1

---

您可以并行处理此过程并异步写入每个文件，但是，这可能会增加内存使用量

您可以将arg传递到

到_csv

这是否会加快速度将取决于您的数据和environment@EdChum我能把它分成10个不同的文件然后写吗？你是说你想把它分成10个不同的文件吗？@EdChum是的。正确，除非你有速度非常慢的磁盘，否则我会想象压缩速度总是比较慢。还有，“10cr行”是什么意思——我猜是1000万？