Apache spark 将spark dataframe的两列连接为空值

我的spark数据框中有两列

First_name  Last_name
Shiva       Kumar
Karthik     kumar
Shiva       Null
Null        Shiva

我的要求是通过用逗号连接上述两列并处理空值，向dataframe添加一个新列

我尝试过使用concat和coalesce，但只有当两列都可用时，我才能获得带有逗号分隔符的输出

预期产量

Full_name
Shiva,kumar
Karthik,kumar
Shiva
Shiva

您可以使用：

您可以使用：

---

concat_ws

concat和handles

null

值

df.withColumn('Full_Name', F.concat_ws(',', F.col('First_name'), F.col('Last_name'))

---

concat_ws

concat和handles

null

值

df.withColumn('Full_Name', F.concat_ws(',', F.col('First_name'), F.col('Last_name'))

---

这会处理“null”值吗？刚刚添加了那个部分。这会处理“null”值吗？刚刚添加了那个部分。