使用ANSI编码读取pyspark中的CSV文件

使用ANSI编码读取pyspark中的CSV文件,pyspark,pyspark-sql,databricks,Pyspark,Pyspark Sql,Databricks,我正在尝试读取csv/文本文件,该文件要求使用ANSI编码进行读取。然而,这是行不通的。有什么想法吗 mainDF= spark.read.format("csv")\ .option("encoding","ANSI")\ .option("header","true")\ .option("maxRowsInMemory",1000)\ .optio

我正在尝试读取csv/文本文件,该文件要求使用ANSI编码进行读取。然而,这是行不通的。有什么想法吗

mainDF= spark.read.format("csv")\
                  .option("encoding","ANSI")\
                  .option("header","true")\
                  .option("maxRowsInMemory",1000)\
                  .option("inferSchema","false")\
                  .option("delimiter", "¬")\
                  .load(path)
java.nio.charset.UnsupportedCharsetException:ANSI

该文件超过5GB,因此符合spark要求


我也尝试过使用小写的ANSI,ISO-8859-1与ANSI相同,因此请按上述方式替换