Dataframe ';UnicodeScape';编解码器可以';t解码位置0-1中的字节:格式错误\N字符转义

Dataframe ';UnicodeScape';编解码器可以';t解码位置0-1中的字节:格式错误\N字符转义,dataframe,apache-spark,pyspark,Dataframe,Apache Spark,Pyspark,我正在尝试将数据从Databricks推送到SQL中。但是,我得到以下错误: 我注意到在我正在处理的文件中,其中一列具有以下值: 我尝试使用以下方法筛选记录: df = df.filter(df.COLUMN != "\N") 但是,当上述操作运行时,我会收到上面标识的错误消息。是否有某种方法可以过滤掉包含转义字符的值 我真的很感激任何帮助。谢谢。如错误所示,您需要退出反斜杠\ df.filter(df.value!=“\\N”)

我正在尝试将数据从Databricks推送到SQL中。但是,我得到以下错误:

我注意到在我正在处理的文件中,其中一列具有以下值:

我尝试使用以下方法筛选记录:

df = df.filter(df.COLUMN != "\N")
但是,当上述操作运行时,我会收到上面标识的错误消息。是否有某种方法可以过滤掉包含转义字符的值


我真的很感激任何帮助。谢谢。

如错误所示,您需要退出反斜杠
\

df.filter(df.value!=“\\N”)