Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark 2.0,DataFrame,筛选字符串列,不推荐使用不等运算符(!==)_Apache Spark_Spark Dataframe - Fatal编程技术网

Apache spark Spark 2.0,DataFrame,筛选字符串列,不推荐使用不等运算符(!==)

Apache spark Spark 2.0,DataFrame,筛选字符串列,不推荐使用不等运算符(!==),apache-spark,spark-dataframe,Apache Spark,Spark Dataframe,我试图通过只保留那些具有特定字符串列的行为非空来过滤数据帧 操作如下所示: df.filter($"stringColumn" !== "") 我的编译器显示!==自从我迁移到Spark 2.0.1后,已被弃用 如何检查Spark>2.0中的字符串列值是否为空?使用==作为替换: df.filter($"stringColumn" =!= "") 感谢LostInOverflow,您能告诉我您在Spark文档中找到信息的位置吗?请查看的弃用注释==@Rami这是完整答案,根据StackOve

我试图通过只保留那些具有特定字符串列的行为非空来过滤数据帧

操作如下所示:

df.filter($"stringColumn" !== "")
我的编译器显示!==自从我迁移到Spark 2.0.1后,已被弃用


如何检查Spark>2.0中的字符串列值是否为空?

使用
==作为替换:

df.filter($"stringColumn" =!= "")

感谢LostInOverflow,您能告诉我您在Spark文档中找到信息的位置吗?请查看
的弃用注释==
@Rami这是完整答案,根据StackOverflow规则,您应该接受它。这在Spark 2中似乎已被弃用。我得到了无关的输入“!=”