Apache spark 在spark中添加JAR以使用sql UDF

我想使用我的库中定义的自定义自定义自定义项。为此，我使用了以下代码：

%spark2
import org.apache.spark.sql.functions.year

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql(s"ADD JAR /usr/hdp/current/spark-client/lib/myLib.jar")

val df = sqlContext.sql("select parse_datetime(start_timestamp, 'CET', 'yyyyMMddHHmmssSSS') AS TIMESTAMP) from temp) 

上面的代码抱怨缺少函数“

parse_datetime

”，所以显然，ADD JAR语句并没有添加myLib。有语法问题还是我遗漏了什么。我在齐柏林飞艇上运行这个

---

我还在

$SPARK\u HOME/lib

文件夹中复制了myLib.jar，但没有用。

我找到了解决方案。我在spark Intertrere的dependencies部分给出了myLib.jar的确切路径。现在可以了

您是如何将jar添加到spark解释器的？你的意思是，在pom.xml或build.sbt文件中添加jar吗？这是齐柏林飞艇特有的。可以在Zepplin中spark Intertrere的依赖项部分添加客户JAR。你想做什么？