数据过滤时忽略Pyspark中的大小写

数据过滤时忽略Pyspark中的大小写,pyspark,spark-dataframe,Pyspark,Spark Dataframe,我有一个spark数据框(input_dataframe),该数据框中的数据如下所示: id value 1 Ab 2 Ai 3 aB 我想选择值为ab的数据(大小写不重要) 下面是我正在使用的代码: input_dataframe.where(col('value').isin("ab")) 但id无法获取所需的输出。有人能帮我吗。 任何帮助都将不胜感激。请查看pysp

我有一个spark数据框(input_dataframe),该数据框中的数据如下所示:

id              value
 1                Ab
 2                Ai
 3                aB
我想选择值为ab的数据(大小写不重要) 下面是我正在使用的代码:

input_dataframe.where(col('value').isin("ab"))
但id无法获取所需的输出。有人能帮我吗。
任何帮助都将不胜感激。

请查看
pyspark.sql.functions.lower(col)
在您的情况下,这应该类似于:

from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))

看看
pyspark.sql.functions.lower(col)
在您的情况下,这应该类似于:

from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))

右括号
之前不需要。isin
?不,你想在应用
下括号后检查isin
之前不需要。isin
不,你想在应用
下括号后检查isin