Python 通过数据帧以不同于utf-8或ISO-8859-1的编码将外部表加载到大查询
我正在将外部表从驱动器上传到大查询。它是CSV,可能采用Python 通过数据帧以不同于utf-8或ISO-8859-1的编码将外部表加载到大查询,python,pandas,encoding,google-bigquery,Python,Pandas,Encoding,Google Bigquery,我正在将外部表从驱动器上传到大查询。它是CSV,可能采用Windows-1254格式: $ chardetect file.csv file.csv: Windows-1254 with confidence 0.4127619770171521 正如我在BQ文档中所读到的-,:“支持的值是UTF-8或ISO-8859-1” 将外部CSV(从驱动器)加载到BQ的python代码: 数据框中我的列:value如下所示: “Opis_transakcji”:“Op³ata za wyp³atê”值
Windows-1254
格式:
$ chardetect file.csv
file.csv: Windows-1254 with confidence 0.4127619770171521
正如我在BQ文档中所读到的-,:“支持的值是UTF-8
或ISO-8859-1
”
将外部CSV(从驱动器)加载到BQ的python代码:
数据框中我的列:value
如下所示:
“Opis_transakcji”:“Op³ata za wyp³atê”
值不正确(编码错误)
如何获得正确编码的df(Windows-1254
或ISO-8859-9
),或者加载df后如何将其转换为正确编码
external_config = bigquery.ExternalConfig("CSV")
external_config.source_uris = [csv_url]
external_config.options.skip_leading_rows = 1
external_config.options.encoding = 'UTF-8'
table_id = "temp_table"
job_config = bigquery.QueryJobConfig(
table_definitions={table_id: external_config})
sql = f'SELECT * FROM `{table_id}`;'
df = self.bq_client.query(sql, job_config=job_config).to_dataframe(
create_bqstorage_client=False)