Scala 希望根据预定义的字符串数组筛选嵌套结构
模式:Scala 希望根据预定义的字符串数组筛选嵌套结构,scala,apache-spark,Scala,Apache Spark,模式: 标记的外观如下: root |-- group: struct (nullable = true) | |-- name: string (nullable = true) | |-- tags: array (nullable = true) | | |-- element: string (containsNull = true) 如果出现[“猫”、“狗”]中的一个,我想过滤整个数据帧。应用此规则后,将保留以下行: 1 ["Cat"
标记
的外观如下:
root
|-- group: struct (nullable = true)
| |-- name: string (nullable = true)
| |-- tags: array (nullable = true)
| | |-- element: string (containsNull = true)
如果出现[“猫”、“狗”]
中的一个,我想过滤整个数据帧。应用此规则后,将保留以下行:
1 ["Cat", "Dog", "Mouse"]
2 []
3 ["Cat"]
4 ["Zebra"]
其中
df
是包含数据的数据帧
df.filter(“数组重叠(标签,数组('Cat','Dog'))”)
您可以使用来筛选标记
1 ["Cat", "Dog", "Mouse"]
3 ["Cat"]