Python 带有UDF的Pyspark错误：py4j.Py4JException:方法uu getnewargs_uu（[]）不存在错误

我正在尝试解决以下错误（我正在使用databricks平台和spark 2.0）

如果运行此代码，我将收到以下错误：

---

py4j.Py4JException:Methodgetnewargs（[]）不存在==>只有在尝试定义udf时才会发生错误。

udf函数将常规函数转换为应用于输入列任何元素的函数。您不能让此函数调用spark函数（在本例中，您调用的是spark.sql，而spark.sql又需要创建不受支持的worker等）

tweets_cleaned.createOrReplaceTempView("tweets_cleanedSQL")
def Occ(keyword):
  occurences = spark.sql("SELECT * \
                                FROM tweets_cleanedSQL \
                                WHERE LOWER(text) LIKE '%" + keyword + "%' \
                            ")
  return occurences.count()


occurences_udf = udf(Occ)