Apache spark 通配符在pyspark数据帧中不起作用

Apache spark 通配符在pyspark数据帧中不起作用,apache-spark,pyspark,Apache Spark,Pyspark,当我执行下面的代码片段时,df1没有显示任何结果。当我用“1,2,3,…”替换野生字符“*”时,df1显示值。我错过了什么 from __future__ import print_function import sys from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql import DataFrame import pyspark.sql.functions . . . df

当我执行下面的代码片段时,df1没有显示任何结果。当我用“1,2,3,…”替换野生字符“*”时,df1显示值。我错过了什么

from __future__ import print_function
import sys
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import DataFrame
import pyspark.sql.functions
.
.
.
df1= df.filter(df.DATE == "*162014").filter(df.TMC == "111N04908")\
       .sort(df.EPOCH.asc())

只有
==
意味着它等于-不多也不少。它不使用通配符、正则表达式或SQL模式。如果要使用模式,请使用或

这应该行得通

df1=df.filter(df.DATE.rlike('*162014'))
.过滤器(df.TMC==“111N04908”)
.sort(df.EPOCH.asc())
其中或过滤器两者相同

df1=df.where(df.DATE.rlike('*162014'))
.其中(df.TMC==“111N04908”)
.sort(df.EPOCH.asc())
expr("DATE RLIKE '%162014'")
expr("DATE LIKE '*162014'")