使用ANSI编码读取pyspark中的CSV文件
我正在尝试读取csv/文本文件,该文件要求使用ANSI编码进行读取。然而,这是行不通的。有什么想法吗使用ANSI编码读取pyspark中的CSV文件,pyspark,pyspark-sql,databricks,Pyspark,Pyspark Sql,Databricks,我正在尝试读取csv/文本文件,该文件要求使用ANSI编码进行读取。然而,这是行不通的。有什么想法吗 mainDF= spark.read.format("csv")\ .option("encoding","ANSI")\ .option("header","true")\ .option("maxRowsInMemory",1000)\ .optio
mainDF= spark.read.format("csv")\
.option("encoding","ANSI")\
.option("header","true")\
.option("maxRowsInMemory",1000)\
.option("inferSchema","false")\
.option("delimiter", "¬")\
.load(path)
java.nio.charset.UnsupportedCharsetException:ANSI
该文件超过5GB,因此符合spark要求
我也尝试过使用小写的ANSI,ISO-8859-1与ANSI相同,因此请按上述方式替换