Apache spark 如何在不分叉/修改Spark本身的情况下创建自定义Spark本机函数
我正在考虑将一些UDF/UDAFs转换为Spark本机函数，以利用Catalyst和codegen 通过一些示例（例如：对于Levenshtein），我们似乎需要将这些函数添加到Spark框架本身（即通过FunctionRegistry.scala） 是否有办法在“用户空间”中添加自定义Spark本机函数，即不分叉/修改实际Spark代码库Apache spark 如何在不分叉/修改Spark本身的情况下创建自定义Spark本机函数,apache-spark,user-defined-functions,catalyst-optimizer,Apache Spark,User Defined Functions,Catalyst Optimizer,我正在考虑将一些UDF/UDAFs转换为Spark本机函数，以利用Catalyst和codegen 通过一些示例（例如：对于Levenshtein），我们似乎需要将这些函数添加到Spark框架本身（即通过FunctionRegistry.scala） 是否有办法在“用户空间”中添加自定义Spark本机函数，即不分叉/修改实际Spark代码库 谢谢大家! 您希望它在sql查询中可用吗？是的，那太好了。对于所有阅读本文的人，我终于找到了一些关于如何添加Spark本机函数的参考资料：和。如果我能让它工
谢谢大家! 您希望它在sql查询中可用吗？是的，那太好了。对于所有阅读本文的人，我终于找到了一些关于如何添加Spark本机函数的参考资料：和。如果我能让它工作，我会发布答案。@cozos你让它工作过吗？@user3613290是的，我让它工作过。我遵循了这个开源项目，该项目实现并注册了Spark本机函数：