sparksql-转义查询字符串

我不敢相信我会问这个但是

如何使用SCALA在SPARK SQL中转义SQL查询字符串

我什么都累了，到处都找遍了。我以为apache commons库可以做到这一点，但运气不好：

返回以下内容：

主题=''小榆'''托莱多'' ^位于org.apache.spark.sql.catalyst.SqlParser.parseExpression（SqlParser.scala:45）的scala.sys.package$.error（package.scala:27） 位于org.apache.spark.sql.DataFrame.filter（DataFrame.scala:651） $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：29）在 $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：34）在 $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（:36）在 $iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（:38）在 $iwC$$iwC$$iwC$$iwC$$iwC。（:40）在 $iwC$$iwC$$iwC$$iwC。（：42）在 $iwC$$iwC$$iwC。（:44）在$iwC$$iwC。（:46） 在$iwC（：48）在（：50）在 在……在……在 .（：7）at.（）at$print（） 位于的sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法） invoke（NativeMethodAccessorImpl.java:62） 在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） 位于java.lang.reflect.Method.invoke（Method.java:497） org.apache.spark.repl.SparkIMain$ReadEvalPrint.call（SparkIMain.scala:1065） 在 org.apache.spark.repl.SparkIMain$Request.loadAndRun（SparkIMain.scala:1338） 在 org.apache.spark.repl.SparkIMain.loadAndRunReq$1（SparkIMain.scala:840） 在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:871） 在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:819） 在 org.apache.spark.repl.SparkILoop.really解释$1（SparkILoop.scala:857） 在 org.apache.spark.repl.SparkILoop.interpretatingstartingwith（SparkILoop.scala:902） 位于org.apache.spark.repl.SparkILoop.command（SparkILoop.scala:814） org.apache.spark.repl.SparkILoop.processLine$1（SparkILoop.scala:657） 位于org.apache.spark.repl.SparkILoop.innerLoop$1（SparkILoop.scala:665） 在 org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$loop（SparkILoop.scala:670） 在 org.apache.spark.repl.sparkilop$$anonfun$org$apache$spark$repl$sparkilop$$process$1.apply$mcZ$sp（sparkilop.scala:997） 在 org.apache.spark.repl.sparkilop$$anonfun$org$apache$spark$repl$sparkilop$$process$1.apply（sparkilop.scala:945） 在 org.apache.spark.repl.sparkilop$$anonfun$org$apache$spark$repl$sparkilop$$process$1.apply（sparkilop.scala:945） 在 scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader（ScalaClassLoader.scala:135） 在 org.apache.spark.repl.sparkilop.org$apache$spark$repl$sparkilop$$process（sparkilop.scala:945） 位于org.apache.spark.repl.SparkILoop.process（SparkILoop.scala:1059） 位于org.apache.spark.repl.Main$.Main（Main.scala:31） org.apache.spark.repl.Main.Main（Main.scala）位于 sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）位于 invoke（NativeMethodAccessorImpl.java:62） 在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） 位于java.lang.reflect.Method.invoke（Method.java:497） org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain（SparkSubmit.scala:665） 在 org.apache.spark.deploy.SparkSubmit$.doRunMain$1（SparkSubmit.scala:170） 位于org.apache.spark.deploy.SparkSubmit$.submit（SparkSubmit.scala:193） 位于org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala:112） 位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）

帮助会很好

---

这可能令人惊讶，但：

var sql = "'Ulmus_minor_'Toledo'"
df.filter(s"""topic = "$sql"""")

工作正常，但使用此选项会更干净：

df.filter($"topic" <=> sql)

df.filter（$“topic”sql）

问题的标题通常是关于在SparkSQL中转义字符串，因此提供适用于任何字符串的答案可能会有好处，无论它在表达式中如何使用

def sqlEscape(s: String) = 
  org.apache.spark.sql.catalyst.expressions.Literal(s).sql

sqlEscape("'Ulmus_minor_'Toledo' and \"om\"")
res0: String = '\'Ulmus_minor_\'Toledo\' and "om"'

---

谢谢你，伙计。非常确定我遇到过这种语法，但不确定在哪里。它可能是

df.filter（“topic=\”“+sql+\”“）

。这是否也转义双引号？DSL语法是肯定的。第一个选项我不确定，但我对此表示怀疑。一般来说，三重引号是最安全的方法，除非您希望匹配类似于

foo''的bar

。在这种情况下，您通常可以使用。

val q=“”；s““foo”$q“bar”

PySpark是否有等效物？PySpark也有一个

lit（string）

函数，但我不知道如何从中获取SQL转义字符串（或者如果可能的话）。

def sqlEscape(s: String) = 
  org.apache.spark.sql.catalyst.expressions.Literal(s).sql

sqlEscape("'Ulmus_minor_'Toledo' and \"om\"")
res0: String = '\'Ulmus_minor_\'Toledo\' and "om"'