Pyspark Pypark不';不支持大于127的分隔符

Pyspark Pypark不';不支持大于127的分隔符,pyspark,Pyspark,我在AWS EMR上使用pyspark,使用Spark 2.4.3读取CSV文件,并将分隔符作为命令行参数传递 代码如下 loadDF = spark.read.csv("s3://TEST/sample.csv", header='false', inferSchema='false', sep=chr(self.delimiter)) 如果self.delimiter设置为小于127的任何值,则读取CSV文件时不会出现问题。但我希望它对分隔符值198、199或200有效

我在AWS EMR上使用pyspark,使用Spark 2.4.3读取CSV文件,并将分隔符作为命令行参数传递

代码如下

loadDF = spark.read.csv("s3://TEST/sample.csv", header='false', inferSchema='false', sep=chr(self.delimiter))
如果self.delimiter设置为小于127的任何值,则读取CSV文件时不会出现问题。但我希望它对分隔符值198、199或200有效


这是pyspark的限制吗?

我找到了解决方案。限制在Spark 2.4.2中。最新AWS EMR附带的最新Spark 3.0.1支持任何分隔符