使用pandas Python(pandas.io.parsers.TextFileReader)从文件读取数据时出现问题

使用pandas Python(pandas.io.parsers.TextFileReader)从文件读取数据时出现问题,python,pandas,bigdata,large-data,Python,Pandas,Bigdata,Large Data,我想从带有pandas的文件中读取数据集,但当我使用pd.read_csv()时,程序会读取数据集,但当我想看到数据帧出现时: 0x1b3b6b3e198上的pandas.io.parsers.TextFileReader 作为附加信息,该文件太大(约9千兆字节) 该文件使用垂直线作为分隔符,我尝试使用chunksize,但不起作用 import pandas as pd df = pd.read_csv(r"C:\Users\dguerr\Documents\files\Automotive\

我想从带有pandas的文件中读取数据集,但当我使用pd.read_csv()时,程序会读取数据集,但当我想看到数据帧出现时:

0x1b3b6b3e198上的pandas.io.parsers.TextFileReader

作为附加信息,该文件太大(约9千兆字节)

该文件使用垂直线作为分隔符,我尝试使用chunksize,但不起作用

import pandas as pd
df = pd.read_csv(r"C:\Users\dguerr\Documents\files\Automotive\target_file", iterator=True, sep='|',chunksize=1000)

我想以传统的熊猫数据帧格式导入数据。

您可以通过执行以下操作逐块加载数据:

将熊猫作为pd导入
path_to_file=“C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file”
块大小=1000
对于pd.read\u csv中的块(路径到文件,chunksize=chunk\u大小):
#做你的事

您可以通过执行以下操作逐块加载它:

将熊猫作为pd导入
path_to_file=“C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file”
块大小=1000
对于pd.read\u csv中的块(路径到文件,chunksize=chunk\u大小):
#做你的事

出现错误:SyntaxError:(unicode错误)'UnicodeScape'编解码器无法解码位置2-3中的字节:截断\uxxxxxxx转义符,使用新代码@DavidMora它现在应该可以工作问题来自文件路径,我更改了它出现错误:SyntaxError:(unicode错误)“UnicodeScape”编解码器无法解码位置2-3中的字节:截断\uxxxxx转义符,使用新代码@DavidMora它现在应该可以工作问题来自文件路径,我更改了它