Pyspark Pypark can';t停止将空字符串读取为null(spark 3.0)

Pyspark Pypark can';t停止将空字符串读取为null(spark 3.0),pyspark,apache-spark-sql,null,Pyspark,Apache Spark Sql,Null,我有一个类似以下内容的csv数据文件(^as delmiter): 身份证件 名称 年龄 0 1. 迈克 20 看来自Spark 2.0.1版以来的空值被视为空值。实现结果的一种方法是使用df.na.fill(…): df=spark.read.csv('your_data_path',sep='^',header=True) #根 #|--ID:string(nullable=true) #|--name:string(nullable=true) #|--age:string(nullabl

我有一个类似以下内容的csv数据文件(^as delmiter):

身份证件 名称 年龄 0 1. 迈克 20
看来自Spark 2.0.1版以来的空值被视为空值。实现结果的一种方法是使用
df.na.fill(…)

df=spark.read.csv('your_data_path',sep='^',header=True)
#根
#|--ID:string(nullable=true)
#|--name:string(nullable=true)
#|--age:string(nullable=true)
#填写所有列
#df=df.na.填充(“”)
#填写特定列
df=df.na.fill(“”,子集=['name','age'])
df.show(truncate=False)
输出

+---+----+---+
|ID |name|age|
+---+----+---+
|0  |    |   |
|1  |Mike|20 |
+---+----+---+