Apache spark 如何删除DataFrame中特定列的NULL和empty？
我想从demo_name为NULL、demo_name为空的数据帧中删除记录 demo_name是该数据框中具有字符串数据类型的列 我正在尝试下面的代码。我想应用trim，因为demo_name有多个空格的记录Apache spark 如何删除DataFrame中特定列的NULL和empty？,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我想从demo_name为NULL、demo_name为空的数据帧中删除记录 demo_name是该数据框中具有字符串数据类型的列 我正在尝试下面的代码。我想应用trim，因为demo_name有多个空格的记录 val filterDF = demoDF.filter($"demo_name".isNotNull && $"demo_name".trim != "" ) 但我得到了错误，因为无法解决符号修剪 有人能帮我解决这个问题吗？您正在调用trim，就好像您正在处理字
val filterDF = demoDF.filter($"demo_name".isNotNull && $"demo_name".trim != "" )
有人能帮我解决这个问题吗？您正在调用
trim字符串一样，但是$
函数使用隐式
转换将列的名称转换为列
实例本身。问题是列
没有修剪
功能
您需要导入库函数并将其应用于列：
import org.apache.spark.sql.functions._
demoDF.filter($"demo_name".isNotNull && length(trim($"demo_name")) > 0)
在这里，我使用库函数trim
和length
-trim
去除空格，然后length
验证结果中是否包含任何内容。您调用trim
，就好像在对字符串执行操作一样，但是$
函数使用隐式
转换将列的名称转换为列
实例本身。问题是列
没有修剪
功能
您需要导入库函数并将其应用于列：
import org.apache.spark.sql.functions._
demoDF.filter($"demo_name".isNotNull && length(trim($"demo_name")) > 0)
在这里，我使用库函数trim
和length
-trim
来去除空格，然后length
来验证结果中是否包含任何内容。很高兴提供帮助。请投票并接受，这样其他人也能从中受益。乐意帮助。请投票并接受，这样其他人也能受益。