Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何使用变量筛选数据集行_Apache Spark - Fatal编程技术网

Apache spark 如何使用变量筛选数据集行

Apache spark 如何使用变量筛选数据集行,apache-spark,Apache Spark,我尝试使用如下变量筛选数据集的行: Dataset<Row> dataset = dF.select(dF.col("*")).filter(col(list.get(0)) == lit(list.get(1)))); Dataset Dataset=dF.select(dF.col(“*”).filter(col(list.get(0))==lit(list.get(1)); 但我得到一个编译错误: 无法解析筛选器(布尔值) 这个问题的解决方案是什么?过滤

我尝试使用如下变量筛选数据集的行:

Dataset<Row> dataset = dF.select(dF.col("*")).filter(col(list.get(0)) == lit(list.get(1))));
Dataset Dataset=dF.select(dF.col(“*”).filter(col(list.get(0))==lit(list.get(1));
但我得到一个编译错误:

无法解析筛选器(布尔值)


这个问题的解决方案是什么?

过滤器将列而不是布尔值作为参数。因此,要比较列,您应该使用
equalTo
方法,该方法将返回列,而不是
=

Dataset-Dataset=dF.select(dF.col(“*”).filter(col(list.get(0)).equalTo(lit(list.get(1())));