Python pandas.read\u csv带有错误\u bad\u line=False似乎重复了行
导入csv时使用Python pandas.read\u csv带有错误\u bad\u line=False似乎重复了行,python,pandas,Python,Pandas,导入csv时使用 import pandas as pd test_df = pd.read_csv('test.csv',sep='\t') 我遇到了错误 标记数据时出错。C错误:第173840行中预期有2个字段,saw 3 按照我的建议,我申请了 test_df = pd.read_csv('test.csv',sep='\t', error_bad_lines=False) 它似乎不再跳过有问题的行,而是开始从随机行(本例中为89465)再次复制 原始csv中的实际数据: 从csv
import pandas as pd
test_df = pd.read_csv('test.csv',sep='\t')
我遇到了错误
标记数据时出错。C错误:第173840行中预期有2个字段,saw 3
按照我的建议,我申请了
test_df = pd.read_csv('test.csv',sep='\t', error_bad_lines=False)
它似乎不再跳过有问题的行,而是开始从随机行(本例中为89465)再次复制
原始csv中的实际数据:
从csv复制的数据:
你知道为什么会发生这种情况吗?我可以做些什么来防止它?简单检查:df和文件的大小是多少?你也可以尝试从C切换到Python引擎,你可以直接使用
pd.read_table()
来处理制表符分隔的文件。@Roelant文件有2617762行,占用34MB,但我对一个9倍大的类似文件没有任何问题。@KaranChudasama谢谢,效果很好:)但最重要的是,我对这个奇怪的结果很好奇。简单检查:df和文件的大小是多少?您也可以尝试从C切换到Python引擎,您可以直接使用pd.read\u table()
用于制表符分隔的文件。@Roelant该文件有2617762行,占用34MB,但我对一个9倍大的类似文件没有任何问题。@KaranChudasama谢谢,效果很好:)但最重要的是,我对这个奇怪的结果很好奇。