Java 在spark中删除空值列
我有下面给定的代码Java 在spark中删除空值列,java,apache-spark,machine-learning,Java,Apache Spark,Machine Learning,我有下面给定的代码 ataset.select("Lead Owner").show(); dataset.filter(dataset.col("Lead Owner").isNotNull()); dataset.select("Lead Owner").show(); 但它并没有删除列Lead Owner的空值行。有人能告诉我这里做错了什么吗?数据集是不可变的数据集。过滤器是一种转换,将返回一个新的数据集,而不是修改原始数据集。请参阅 这个空值是您添加的空
ataset.select("Lead Owner").show();
dataset.filter(dataset.col("Lead Owner").isNotNull());
dataset.select("Lead Owner").show();
但它并没有删除列Lead Owner的空值行。有人能告诉我这里做错了什么吗?数据集是不可变的<代码>数据集。过滤器是一种转换,将返回一个新的数据集,而不是修改原始数据集。请参阅
这个空值是您添加的空值还是Spark的空值?就像创建空字段的左连接一样?这是spark提供的空字段,我正在尝试这样做
val filteredData = dataset.filter(dataset.col("Lead Owner").isNotNull());
filteredData.select("Lead Owner").show();