Python 如何快速读取csv文件块？

我正在使用

pandas

介绍如何仅读取CSV文件块

建议使用

pd.read_csv（'./input/test.csv'，iterator=True，chunksize=1000）

效果很好，但它返回一个

，因此我将它转换为带有

pd.concat（pd.read_csv（'./input/test.csv'，iterator=True，chunksize=25））的数据帧

，但这需要的时间与首先读取文件一样多

关于如何快速仅读取文件块的任何建议？

pd.read\u csv（'./input/test.csv'，iterator=True，chunksize=1000）返回一个迭代器。您可以使用

next

功能获取下一个

reader = pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)

next(reader)

这通常在for循环中用于一次处理一个块

for df in pd.read_csv('./input/test.csv', iterator=True, chunksize=1000):
    pass 

---

试图使用

pd.concat

将迭代器转换为数据帧，强制它读取整个文件？是的。它还强调，您可以将迭代器传递给

pd.concat

，这很方便了解。在迭代器上使用

next

，每次只能读取一个卡盘。