Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/perl/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 删除pyspark或pysql中包含“/”等特殊字符的行_Python_Apache Spark_Pyspark_Apache Spark Sql_Pyspark Dataframes - Fatal编程技术网

Python 删除pyspark或pysql中包含“/”等特殊字符的行

Python 删除pyspark或pysql中包含“/”等特殊字符的行,python,apache-spark,pyspark,apache-spark-sql,pyspark-dataframes,Python,Apache Spark,Pyspark,Apache Spark Sql,Pyspark Dataframes,我有一个包含A列的数据 A 107/108 105 103 103/104 输出应如下所示:- 105 103 我在pyspark和pysql中尝试了很多过滤函数,但代码不起作用~ 更新: 执行时给我一个错误'NoneType'对象没有属性'filter'Hi在验证数据时你的表达式也会删除空行,那么还有其他方法吗?@codetech,我用空行测试用例更新了答案,表达式没有删除空行。。! df=spark.createDataFrame([('107/108',),('105',),('103

我有一个包含A列的数据

A
107/108
105
103
103/104
输出应如下所示:-

105
103
我在pyspark和pysql中尝试了很多过滤函数,但代码不起作用~

更新:


执行时给我一个错误'NoneType'对象没有属性'filter'Hi在验证数据时你的表达式也会删除空行,那么还有其他方法吗?@codetech,我用空行测试用例更新了答案,表达式没有删除空行。。!
df=spark.createDataFrame([('107/108',),('105',),('103',),('103/104',)],['A'])
df.show()
#+-------+
#|      A|
#+-------+
#|107/108|
#|    105|
#|    103|
#|103/104|
#+-------+

from pyspark.sql.functions import *
#using rlike function
df.filter(~col("A").rlike("\/")).show()

#using like function
df.filter(~col("A").like("%/%")).show()

#using contains function
df.filter(~col("A").contains("/")).show()
#+---+
#|  A|
#+---+
#|105|
#|103|
#+---+
df=spark.createDataFrame([('107/108',),('105',),('103',),('103/104',),('',)],['A'])
df.show()
#+-------+
#|      A|
#+-------+
#|107/108|
#|    105|
#|    103|
#|103/104|
#|       |
#+-------+

df.filter(~col("A").rlike("\/")).show()
df.filter(~col("A").like("%/%")).show()
df.filter(~col("A").contains("/")).show()
#+---+
#|  A|
#+---+
#|105|
#|103|
#|   |
#+---+