按列显示的scala筛选器
我在许多文件中有许多json字符串行，它们在模式中非常相似，但在某些情况下有一些不同 我用它们制作了一个数据帧，只想看到具有特定列的行，如按列显示的scala筛选器,scala,apache-spark,Scala,Apache Spark,我在许多文件中有许多json字符串行，它们在模式中非常相似，但在某些情况下有一些不同 我用它们制作了一个数据帧，只想看到具有特定列的行，如 DF.filter("myColumn" is present).show 如何执行此操作？您可以在filter（）中使用isNotNull 您可以在filter（）中使用isNotNull 谢谢@mrsrinivas。它工作得很好！请将您的答案添加到“答案”框中，以便我选中。：）谢谢@mrsrinivas。它工作得很好！请将您的答案添加到“答案”框中，以
DF.filter("myColumn" is present).show
如何执行此操作？您可以在
filter（）中使用isNotNull
您可以在filter（）中使用isNotNull
谢谢@mrsrinivas。它工作得很好！请将您的答案添加到“答案”框中，以便我选中。：）谢谢@mrsrinivas。它工作得很好！请将您的答案添加到“答案”框中，以便我选中。：）
import org.apache.spark.sql.functions.isNotNull
df.filter($"myColumn".isNotNull)