Python UnicodeDecodeError:&x27;utf-8';编解码器可以';读取文件中的csv文件时,对位置1中的字节0x8b进行t解码:无效的起始字节
我知道已经有人问过类似的问题,我看过所有的问题,也试过了,但没有什么帮助。我正在使用OSX 10.11 El Capitan,python3.6.,虚拟环境,也尝试过不使用它。我正在使用jupyter笔记本和spyder3 我是python新手,但了解基本的ML,并在下面的帖子中学习如何解决Kaggle挑战: .我被前几行代码卡住了 ` 这给了我错误Python UnicodeDecodeError:&x27;utf-8';编解码器可以';读取文件中的csv文件时,对位置1中的字节0x8b进行t解码:无效的起始字节,python,python-3.x,csv,pandas,kaggle,Python,Python 3.x,Csv,Pandas,Kaggle,我知道已经有人问过类似的问题,我看过所有的问题,也试过了,但没有什么帮助。我正在使用OSX 10.11 El Capitan,python3.6.,虚拟环境,也尝试过不使用它。我正在使用jupyter笔记本和spyder3 我是python新手,但了解基本的ML,并在下面的帖子中学习如何解决Kaggle挑战: .我被前几行代码卡住了 ` 这给了我错误 UnicodeDecodeError Traceback (most recent call las
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-19-a928a98eb1ff> in <module>()
1 import pandas as pd
----> 2 df = pd.read_csv('destinations.csv', compression='infer',date_parser=True, usecols=([0,1,3]))
3 df.head()
/usr/local/lib/python3.6/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
653 skip_blank_lines=skip_blank_lines)
654
--> 655 return _read(filepath_or_buffer, kwds)
656
657 parser_f.__name__ = name
/usr/local/lib/python3.6/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
403
404 # Create the parser.
--> 405 parser = TextFileReader(filepath_or_buffer, **kwds)
406
407 if chunksize or iterator:
/usr/local/lib/python3.6/site-packages/pandas/io/parsers.py in __init__(self, f, engine, **kwds)
762 self.options['has_index_names'] = kwds['has_index_names']
763
--> 764 self._make_engine(self.engine)
765
766 def close(self):
/usr/local/lib/python3.6/site-packages/pandas/io/parsers.py in _make_engine(self, engine)
983 def _make_engine(self, engine='c'):
984 if engine == 'c':
--> 985 self._engine = CParserWrapper(self.f, **self.options)
986 else:
987 if engine == 'python':
/usr/local/lib/python3.6/site-packages/pandas/io/parsers.py in __init__(self, src, **kwds)
1603 kwds['allow_leading_cols'] = self.index_col is not False
1604
-> 1605 self._reader = parsers.TextReader(src, **kwds)
1606
1607 # XXX
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.__cinit__ (pandas/_libs/parsers.c:6175)()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._get_header (pandas/_libs/parsers.c:9691)()
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
我花了几个小时调试这个,尝试在Atom上打开csv文件(没有其他应用程序可以打开它),在线web应用程序(一些崩溃)但没有帮助。我尝试使用其他解决问题的人的内核,但没有帮助。你能试着使用编解码器吗
import codecs
with codecs.open("destinations.csv", "r",encoding='utf-8', errors='ignore') as file_dat:
destinations = pd.read_csv(file_data))
它仍然很可能是压缩的数据。gzip的幻数是
0x1f 0x8b
,这与您得到的UnicodeDecodeError
一致
您可以尝试动态解压缩数据:
尝试在读取csv文件时包含此编码
pd.read_csv('csv_file', encoding='ISO-8859–1')
分离器是什么?我不知道。我对这些都不熟悉。我刚刚下载了文章中给出的数据集,并试图执行这些行,但出现了一个错误。我不知道如何知道分隔符,我提到了顶部的链接,也许你可以找到。ThanksI已尝试,但获取错误:ParserError:将数据标记化时出错。C错误:第11行应该有2个字段,看到了3个!但我想知道一件事,为什么会发生在我身上,其他做这件事的人并没有得到这个错误。就像看一个提交:我假设提交只对已经解压的输入文件有效。但我的文件显示.csv扩展名与chrome下载的相同。那么它怎么可能被拉上拉链呢?是不是应该是.csv.gz?听着,我不知道你或其他人的浏览器的细节。这里重要的是,如果文件是gzip文件,则需要在将其馈送到
pandas
之前对其进行解压缩。
import codecs
with codecs.open("destinations.csv", "r",encoding='utf-8', errors='ignore') as file_dat:
destinations = pd.read_csv(file_data))
with open('destinations.csv', 'rb') as fd:
gzip_fd = gzip.GzipFile(fileobj=fd)
destinations = pd.read_csv(gzip_fd)
pd.read_csv('csv_file', encoding='ISO-8859–1')