按数组列筛选Scala数据帧
我的scala数据框有一个列,其数据类型为按数组列筛选Scala数据帧,scala,apache-spark-sql,Scala,Apache Spark Sql,我的scala数据框有一个列,其数据类型为数组(元素:字符串)。我想显示在该列中有单词“hello”的数据帧行 我有这个: display(df.filter($"my_column".contains("hello"))) 我得到一个错误,因为数据不匹配。它说,参数1需要字符串类型,但是,“my:column”是数组类型您可以使用array\u contains函数 import org.apache.spark.sql.functions._ df.filter(array_contai
数组(元素:字符串)。我想显示在该列中有单词“hello”的数据帧行
我有这个:
display(df.filter($"my_column".contains("hello")))
我得到一个错误,因为数据不匹配。它说,参数1需要字符串类型,但是,“
my:column”是数组类型
您可以使用array\u contains
函数
import org.apache.spark.sql.functions._
df.filter(array_contains(df.col("my_column"), "hello")).show
尝试数组\u包含函数