数据过滤时忽略Pyspark中的大小写
我有一个spark数据框(input_dataframe),该数据框中的数据如下所示:数据过滤时忽略Pyspark中的大小写,pyspark,spark-dataframe,Pyspark,Spark Dataframe,我有一个spark数据框(input_dataframe),该数据框中的数据如下所示: id value 1 Ab 2 Ai 3 aB 我想选择值为ab的数据(大小写不重要) 下面是我正在使用的代码: input_dataframe.where(col('value').isin("ab")) 但id无法获取所需的输出。有人能帮我吗。 任何帮助都将不胜感激。请查看pysp
id value
1 Ab
2 Ai
3 aB
我想选择值为ab的数据(大小写不重要)
下面是我正在使用的代码:
input_dataframe.where(col('value').isin("ab"))
但id无法获取所需的输出。有人能帮我吗。
任何帮助都将不胜感激。请查看
pyspark.sql.functions.lower(col)
在您的情况下,这应该类似于:
from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))
看看
pyspark.sql.functions.lower(col)
在您的情况下,这应该类似于:
from pyspark.sql import functions as sf
input_dataframe.where(sf.lower(sf.col('value')).isin("ab"))
右括号
)
在之前不需要。isin
?不,你想在应用下括号后检查isin)
在之前不需要。isin
不,你想在应用下括号后检查isin