Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/341.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在spark中删除空值列_Java_Apache Spark_Machine Learning - Fatal编程技术网

Java 在spark中删除空值列

Java 在spark中删除空值列,java,apache-spark,machine-learning,Java,Apache Spark,Machine Learning,我有下面给定的代码 ataset.select("Lead Owner").show(); dataset.filter(dataset.col("Lead Owner").isNotNull()); dataset.select("Lead Owner").show(); 但它并没有删除列Lead Owner的空值行。有人能告诉我这里做错了什么吗?数据集是不可变的数据集。过滤器是一种转换,将返回一个新的数据集,而不是修改原始数据集。请参阅 这个空值是您添加的空

我有下面给定的代码

ataset.select("Lead Owner").show();
        dataset.filter(dataset.col("Lead Owner").isNotNull());
        dataset.select("Lead Owner").show();

但它并没有删除列Lead Owner的空值行。有人能告诉我这里做错了什么吗?

数据集是不可变的<代码>数据集。过滤器是一种转换,将返回一个新的数据集,而不是修改原始数据集。请参阅


这个空值是您添加的空值还是Spark的空值?就像创建空字段的左连接一样?这是spark提供的空字段,我正在尝试这样做
val filteredData = dataset.filter(dataset.col("Lead Owner").isNotNull());
filteredData.select("Lead Owner").show();