Apache spark 如何使用变量筛选数据集行
我尝试使用如下变量筛选数据集的行:Apache spark 如何使用变量筛选数据集行,apache-spark,Apache Spark,我尝试使用如下变量筛选数据集的行: Dataset<Row> dataset = dF.select(dF.col("*")).filter(col(list.get(0)) == lit(list.get(1)))); Dataset Dataset=dF.select(dF.col(“*”).filter(col(list.get(0))==lit(list.get(1)); 但我得到一个编译错误: 无法解析筛选器(布尔值) 这个问题的解决方案是什么?过滤
Dataset<Row> dataset = dF.select(dF.col("*")).filter(col(list.get(0)) == lit(list.get(1))));
Dataset Dataset=dF.select(dF.col(“*”).filter(col(list.get(0))==lit(list.get(1));
但我得到一个编译错误:
无法解析筛选器(布尔值)
这个问题的解决方案是什么?过滤器将列而不是布尔值作为参数。因此,要比较列,您应该使用
equalTo
方法,该方法将返回列,而不是=
:
Dataset-Dataset=dF.select(dF.col(“*”).filter(col(list.get(0)).equalTo(lit(list.get(1())));