Python ParserError:标记数据时出错。C错误:第4行预期有7个字段,读取csv文件时看到10个错误
我正在尝试使用pandas读取Python ParserError:标记数据时出错。C错误:第4行预期有7个字段,读取csv文件时看到10个错误,python,pandas,dataframe,tokenize,Python,Pandas,Dataframe,Tokenize,我正在尝试使用pandas读取csv文件 df1 = pd.read_csv('panda_error.csv', header=None, sep=',') 但我得到了这个错误: ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10 为了再现性,这里是csv文件panda_error.csv superkingdom:Bacteria , phylum:Actinobacteria
csv
文件
df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
但我得到了这个错误:
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
为了再现性,这里是csv文件panda_error.csv
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Corynebacteriaceae , genus:Corynebacterium , species:Corynebacterium efficiens 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Alphaproteobacteria , order:Rhizobiales , family:Aurantimonadaceae , genus:Aurantimonas , species:Aurantimonas manganoxydans 1
superkingdom:Bacteria , phylum:Proteobacteria , subphylum:delta/epsilon subdivisions , class:Deltaproteobacteria , no rank:unclassified Deltaproteobacteria , genus:Candidatus Entotheonella 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Gammaproteobacteria , order:Pseudomonadales , family:Pseudomonadaceae , genus:Pseudomonas , species group:Pseudomonas syringae group , species subgroup:Pseudomonas syringae group genomosp. 2 , species:Pseudomonas amygdali , no rank:Pseudomonas amygdali pv. tabaci 1
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Nocardiaceae , genus:Rhodococcus , species:Rhodococcus wratislaviensis 1
superkingdom:Bacteria , phylum:Firmicutes , class:Clostridia , order:Clostridiales , family:Peptostreptococcaceae , genus:Peptoclostridium , species:Peptoclostridium difficile1
我真的不知道为什么会发生这种情况,以及如何解决这一问题。其他答案只对1有建议。使用我不想做的error\u bad\u lines=False忽略问题行,或2。特定于特定场景
以下是完整的错误消息(如果有帮助):
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
<ipython-input-34-72c0ecaf0513> in <module>
----> 1 df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
683 )
684
--> 685 return _read(filepath_or_buffer, kwds)
686
687 parser_f.__name__ = name
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
461
462 try:
--> 463 data = parser.read(nrows)
464 finally:
465 parser.close()
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
1152 def read(self, nrows=None):
1153 nrows = _validate_integer("nrows", nrows)
-> 1154 ret = self._engine.read(nrows)
1155
1156 # May alter columns / col_dict
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
2057 def read(self, nrows=None):
2058 try:
-> 2059 data = self._reader.read(nrows)
2060 except StopIteration:
2061 if self._first_chunk:
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
---------------------------------------------------------------------------
ParserError回溯(上次最近的调用)
在里面
---->1 df1=pd.read\u csv('panda\u error.csv',header=None,sep=',')
/解析器中的opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py(文件路径或缓冲区、sep、分隔符、标题、名称、索引列、usecols、挤压、前缀、重复、数据类型、引擎、转换器、真值、假值、skipinitialspace、SkipRous、skipfooter、nrows、na值、保留默认值、na过滤器、冗余、跳过空白行、解析日期、推断日期时间格式、保留日期列、日期分析器、dayfirst、c日期、迭代器、块大小、压缩、千、十进制、行终止符、引号、引号、双引号、转义、注释、编码、方言、错误错误行、警告行、删除空格、内存不足、内存映射、浮点精度)
683 )
684
-->685返回读取(文件路径或缓冲区,kwds)
686
687解析器名称
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in_read(文件路径或缓冲区,kwds)
461
462尝试:
-->463 data=parser.read(nrows)
464最后:
465语法分析器
/读取中的opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py(self,nrows)
1152 def读取(自身,nrows=无):
1153 nrows=_validate_integer(“nrows”,nrows)
->1154 ret=自身发动机读取(nrows)
1155
1156#可更改列/列目录
/读取中的opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py(self,nrows)
2057 def读取(自身,nrows=无):
2058试试:
->2059数据=自身读取(nrows)
2060除停止迭代外:
2061如果自我第一块:
pandas/_libs/parsers.pyx在pandas中。_libs.parsers.textleader.read()
pandas/_libs/parsers.pyx在pandas中。_libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx在pandas中。_libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx在pandas中。_libs.parsers.TextReader。_tokenize_rows()
pandas/_libs/parsers.pyx在pandas中。_libs.parsers.raise_parser_error()
ParserError:标记数据时出错。C错误:第4行预期有7个字段,saw 10
为我工作
### Loop the data lines
with open("panda_error.csv", 'r') as temp_f:
# get No of columns in each line
col_count = [ len(l.split(",")) for l in temp_f.readlines() ]
### Generate column names (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]
### Read csv
df = pd.read_csv("panda_error.csv", header=None, delimiter=",", names=column_names)
Pandas是处理表格数据的工具。
这意味着每一行应该包含相同数量的字段。
对于CSV输入,还有一个要求,即字段
每一行的顺序应相同
但您的输入文件实际上无法满足这两个要求
前2行(可能还有大多数其他行)有7个字段:
超级王国,门,纲,目,科,属和种
第三行包含:
超级王国,门,亚门,纲,无等级和属。
因此:
- 有额外的字段(亚门和无等级)
- 你没有像秩序、家族和物种这样的领域
这不会导致读取csv失败,只是因为字段数
不超过前几行中的字段数(总共有6个字段)
但真正的问题在第4行,这里有10个字段
所以“普通”阅读并不是一个好的选择。
即使设置的列数足以读取所有行,
属性将以难以读取的方式“分散”在列中
任何基于列名分析此类数据的尝试也将失败,
因为每一列在不同的行中将有不同的信息
另一个问题是,用逗号分隔的数据将包含。
超级王国:细菌,即:
- 应该是列(属性)名称的文本
- 冒号
- 实际值
要克服这些问题,请尝试另一种读取输入文件的方法:
使用Read_csv读取您的输入文件,但作为单个
列(sep设置为未使用的字符)
下一步,生成一个数据帧,该数据帧可以由
提取程序(需要重新导入):
如果要将这些数据作为表转换为每个名称
在相应的列中,运行:
df3 = df2.set_index('name', append=True).unstack(fill_value='')
df3.columns = df3.columns.droplevel()
看一看结果,我认为它比以前更具可读性
任何其他尝试。错误是因为在第4行之前有7列(CSV中有7个逗号),但在第4行有更多列。查看此链接了解如何克服此问题CSV文件中的所有行都需要具有相同数量的字段,因为数据帧必须是统一的。我认为第2步的替代方法df2=df.col1.str.split(“;”,expand=True)
将产生更快的结果,并显著简化代码。(对于分隔符,;”可任意添加。将字符更改为文本文件的真正分隔符字符)。
df2 = df.col1.str.extractall(
r'(?P<name>[A-Z ]+[A-Z]):(?P<value>[A-Z /]+[A-Z])', flags=re.I)\
.reset_index(level=1, drop=True)
name value
0 superkingdom Bacteria
0 phylum Actinobacteria
0 class Actinobacteria
0 order Corynebacteriales
0 family Corynebacteriaceae
0 genus Corynebacterium
0 species Corynebacterium efficiens
1 superkingdom Bacteria
1 phylum Proteobacteria
1 class Alphaproteobacteria
1 order Rhizobiales
1 family Aurantimonadaceae
1 genus Aurantimonas
1 species Aurantimonas manganoxydans
2 superkingdom Bacteria
2 phylum Proteobacteria
2 subphylum delta/epsilon subdivisions
2 class Deltaproteobacteria
2 no rank unclassified Deltaproteobacteria
2 genus Candidatus Entotheonella
3 superkingdom Bacteria
3 phylum Proteobacteria
3 class Gammaproteobacteria
3 order Pseudomonadales
3 family Pseudomonadaceae
3 genus Pseudomonas
3 species group Pseudomonas syringae group
3 species subgroup Pseudomonas syringae group genomosp
3 species Pseudomonas amygdali
3 no rank Pseudomonas amygdali pv
4 superkingdom Bacteria
4 phylum Actinobacteria
4 class Actinobacteria
4 order Corynebacteriales
4 family Nocardiaceae
4 genus Rhodococcus
4 species Rhodococcus wratislaviensis
5 superkingdom Bacteria
5 phylum Firmicutes
5 class Clostridia
5 order Clostridiales
5 family Peptostreptococcaceae
5 genus Peptoclostridium
5 species Peptoclostridium difficile
df3 = df2.set_index('name', append=True).unstack(fill_value='')
df3.columns = df3.columns.droplevel()