Dataframe pyspark.sql SparkSession load（）与架构：架构中的非StringType字段使所有值为空

嗨，
我在使用非StringType作为模式的一部分时遇到了问题，我在加载csv文件以创建数据帧时使用了该模式

我希望在加载时使用给定的模式将每个记录的每个字段动态转换为相应的数据类型。
相反，我得到的只是空值

这里有一个简单的方法来重现我的问题。在本例中，有一个包含四列的小csv文件，我想相应地将其处理为str、date、int和bool：

python
Python 3.6.5 (default, Jun 17 2018, 12:13:06) 
[GCC 4.2.1 Compatible Apple LLVM 9.1.0 (clang-902.0.39.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyspark
>>> from pyspark import SparkContext
>>> from pyspark.sql import SparkSession
>>> from pyspark.sql.types import *
>>> 
>>> data_flnm = 'four_cols.csv'

>>> lines = [ln.rstrip() for  ln in open(data_flnm).readlines()[:3]]
>>> lines
['zzzc7c09:66d7:47d6:9415:87e5010fe282|2019-04-08|0|f', 'zzz304fa:6fc0:4337:91d0:05ef4657a6db|2019-07-08|1|f', 'yy251cf0:aa11:44e9:88f4:f6f9c1899cee|2019-05-13|0|t']


>>> parts = [ln.split("|") for ln in lines]
>>> parts
[['zzzc7c09:66d7:47d6:9415:87e5010fe282', '2019-04-08', '0', 'f'], ['zzz304fa:6fc0:4337:91d0:05ef4657a6db', '2019-07-08', '1', 'f'], ['yy251cf0:aa11:44e9:88f4:f6f9c1899cee', '2019-05-13', '0', 't']]

>>> cols1 = [StructField('u_id', StringType(), True), StructField('week', StringType(), True), StructField('flag_0_1', StringType(), True), StructField('flag_t_f', StringType(), True)]
>>> cols2 = [StructField('u_id', StringType(), True), StructField('week', DateType(), True), StructField('flag_0_1', IntegerType(), True), StructField('flag_t_f', BooleanType(), True)]
>>> sch1 = StructType(cols1)
>>> sch2 = StructType(cols2)
>>> sch1
StructType(List(StructField(u_id,StringType,true),StructField(week,StringType,true),StructField(flag_0_1,StringType,true),StructField(flag_t_f,StringType,true)))
>>> sch2
StructType(List(StructField(u_id,StringType,true),StructField(week,DateType,true),StructField(flag_0_1,IntegerType,true),StructField(flag_t_f,BooleanType,true)))

>>> spark_sess = SparkSession.builder.appName("xyz").getOrCreate()
19/09/10 19:32:16 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

>>> df1 = spark_sess.read.format('csv').option("nullValue", "null").load([data_flnm], sep='|', schema = sch1)
>>> df2 = spark_sess.read.format('csv').option("nullValue", "null").load([data_flnm], sep='|', schema = sch2)

>>> df1.show(5)
+--------------------+----------+--------+--------+
|                u_id|      week|flag_0_1|flag_t_f|
+--------------------+----------+--------+--------+
|zzzc7c09:66d7:47d...|2019-04-08|       0|       f|
|zzz304fa:6fc0:433...|2019-07-08|       1|       f|
|yy251cf0:aa11:44e...|2019-05-13|       0|       t|
|yy1d2f8e:d8f0:4db...|2019-07-08|       1|       f|
|zzz5ccad:2cf6:44e...|2019-05-20|       1|       f|
+--------------------+----------+--------+--------+
only showing top 5 rows

>>> df2.show(5)
+----+----+--------+--------+
|u_id|week|flag_0_1|flag_t_f|
+----+----+--------+--------+
|null|null|    null|    null|
|null|null|    null|    null|
|null|null|    null|    null|
|null|null|    null|    null|
|null|null|    null|    null|
+----+----+--------+--------+
only showing top 5 rows

>>> 

我尝试了几个不同版本的.read（…）…load（…）代码。 没有一个能产生预期的结果。 请给我一些建议。谢谢大家!

---

PS:无法添加标记“structfield”和“structtype”：信誉不足（\uuu.

解析时，您需要将标志列作为字符串读取。以下架构将起作用：

StructType(List(StructField(u_id,StringType,true),StructField(week,DateType,true),StructField(flag_0_1,IntegerType,true),StructField(flag_t_f,StringType,true)))

之后，如果需要，可以向数据帧添加布尔列：

import pyspark.sql.functions as f
df = df.withColumn("flag_t_f", 
      f.when(f.col("flag_t_f") == 'f', 'False')
      .when(f.col("flag_t_f") == 't', 'True')          
     )

如果有多个布尔列的值为“f”和“t”，则可以通过迭代所有列来转换所有这些值

cols = df.columns
for col in cols:
    df = df.withColumn(col, 
        f.when(f.col(col) == 'f', 'False')
         .when(f.col(col) == 't','True')
         .otherwise(f.col(col))
    )

---

谢谢！我还没有尝试过你的解决方案，但听起来很棒！：）我已经在做类似的事情了，但更难看的是：创建了一个模式，其中所有列都是“StringType”，然后一个接一个地更改所有列，但实际上是StringType的列除外（有数百个）。非常感谢！：）但是：为什么？这是在哪里记录的？另外：我试图用LazySimpleSerde以一种完全不同的方式解决这个问题，但也找不到解决方案：也许你想看看？–你能再帮我一点忙吗？如果有多个布尔字段，正确的语法是什么？我应该为每个列重复上面的代码吗（df=df.withColumn（col1….df=df=df.withColumn（col2…--或者我可以将所有内容合并到一个语句中？我的问题实际上是关于性能的：哪种解决方案更好？谢谢！！！如果您需要数据帧中的特定数据类型，我建议您先读取字符串，然后再在数据帧中转换。读取字符串总是很好的，特别是在数字出现空格的情况下很难理解为什么会出现null。我添加了代码来迭代所有列。如果知道要转换的列名，可以用已知的列列表替换df.columns。