Amazon athena AWS牧马人雅典娜和S3读到';utf-8';编解码器可以';将字节0xff解码到位

Amazon athena AWS牧马人雅典娜和S3读到';utf-8';编解码器可以';将字节0xff解码到位,amazon-athena,Amazon Athena,我试图使用awswrangler的s3.read_csv函数来读取Athena SQL查询输出。输出路径是wr.athena.get\u query\u execution(query\u execution\u id)。我可以确认输出路径存在。然后,我使用awswrangler的wr.s3.read\u csv(outputpath)函数加载输出。但是,我发现UnicodeDecodeError:“utf-8”编解码器无法解码位置中的字节0xff df = wr.s3.read_csv(<

我试图使用awswrangler的s3.read_csv函数来读取Athena SQL查询输出。输出路径是
wr.athena.get\u query\u execution(query\u execution\u id)
。我可以确认输出路径存在。然后,我使用awswrangler的
wr.s3.read\u csv(outputpath)
函数加载输出。但是,我发现UnicodeDecodeError:“utf-8”编解码器无法解码位置中的字节0xff

df = wr.s3.read_csv(<s3path.csv>)

--snipped--
  File "pandas/_libs/parsers.pyx", line 711, in pandas._libs.parsers.TextReader._get_header
  File "pandas/_libs/parsers.pyx", line 905, in pandas._libs.parsers.TextReader._tokenize_rows
  File "pandas/_libs/parsers.pyx", line 2034, in pandas._libs.parsers.raise_parser_error
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 75: invalid start byte
df=wr.s3.read_csv()
--剪断--
文件“pandas/_libs/parsers.pyx”,第711行,在pandas._libs.parsers.TextReader._get_头中
文件“pandas/_libs/parsers.pyx”,第905行,在pandas._libs.parsers.TextReader._标记化_行中
文件“pandas/_libs/parsers.pyx”,第2034行,在pandas._libs.parsers.raise_parser_错误
UnicodeDecodeError:“utf-8”编解码器无法解码位置75中的字节0xff:无效的开始字节
旁注,我试图避免wr.athena.read\u sql\u查询(sql),因为我实现了一个异步函数


我尝试使用boto3.s3_客户端下载s3对象,读取文件并通过pandas.read_csv()直接加载,效果非常好。所以,我认为这不是权限问题,也不是文件损坏问题。你知道我在wr.s3.read_csv()调用中犯了什么错误吗?

你能试着在你的read_csv中传递encoding='ISO-8859-1'吗,就像在df=wr.s3.read_csv(file,sep=','中,encoding='ISO-8859-1')?你试过改变编码Prabhakar Reddy吗,我遇到了同样的问题。我添加了编码='ISO-8859-1',它允许我以数据帧的形式读入数据,但总有一个额外的列带有随机名称,如0201017_081503_00051_xa9cu“5