仅导入csv的几列作为python数据帧?

仅导入csv的几列作为python数据帧?,python,database,pandas,large-data,Python,Database,Pandas,Large Data,我只想将csv的一个子集作为数据帧导入,因为它太大,无法导入整个内容。有没有一种方法可以在熊猫身上实现这一点,而不必建立类似数据库的结构 我已经尝试只导入一个块,然后连接,这仍然太大,并导致内存错误。我有数百列,因此手动指定数据类型可能会有所帮助,但这可能是一项主要的时间投入 df_chunk=pd.read_csv(“filename.csv”,chunksize=1e7) df=pd.concat(df_chunk,ignore_index=True) 您可以在函数中使用skiprows和n

我只想将csv的一个子集作为数据帧导入,因为它太大,无法导入整个内容。有没有一种方法可以在熊猫身上实现这一点,而不必建立类似数据库的结构

我已经尝试只导入一个块,然后连接,这仍然太大,并导致内存错误。我有数百列,因此手动指定数据类型可能会有所帮助,但这可能是一项主要的时间投入

df_chunk=pd.read_csv(“filename.csv”,chunksize=1e7)
df=pd.concat(df_chunk,ignore_index=True)

您可以在函数中使用
skiprows
nrows
参数仅从原始数据帧加载行的子集

例如:

 import pandas as pd
 df = pd.read_csv("test.csv", skiprows = 4, nrows=10)

您可以在函数中使用
skiprows
nrows
参数仅从原始数据帧加载行的子集

例如:

 import pandas as pd
 df = pd.read_csv("test.csv", skiprows = 4, nrows=10)

查看文档中的chuncksize。使用
nrows
指定要读取的行数。使用
pd.read\u csv()和
skiprows
nrows
可以重复使用。查看文档中的chuncksize。使用
nrows
指定要读取的行数。使用
pd.read\u csv()可以重复使用
使用
skiprows
nrows
?我需要所有行。列呢?为此,可以使用usecols参数。我需要所有行。列呢?为此,可以使用usecols参数。