Apache spark 如何在sparksql中使用MLlib

Apache spark 如何在sparksql中使用MLlib,apache-spark,apache-spark-sql,apache-spark-mllib,Apache Spark,Apache Spark Sql,Apache Spark Mllib,最近,我一直在学习spark sql,我想知道,有没有可能在spark sql中使用mllib,比如: select mllib_methodname(some column) from tablename; 这里,“mllib_methodname”方法是一个mllib方法。 是否有一些示例演示如何在spark sql中使用mllib方法 提前感谢。新的管道API基于数据帧,由SQL支持。看 或者,您可以简单地将MLlib模型中的predict方法注册为UDF,并在SQL语句中使用它们。

最近,我一直在学习spark sql,我想知道,有没有可能在spark sql中使用mllib,比如:

select mllib_methodname(some column) from tablename; 
这里,“mllib_methodname”方法是一个mllib方法。 是否有一些示例演示如何在spark sql中使用mllib方法


提前感谢。

新的管道API基于数据帧,由SQL支持。看

或者,您可以简单地将MLlib模型中的predict方法注册为UDF,并在SQL语句中使用它们。看


目前我不认为SQL主要用于数据仓库和数据预处理,您当然可以使用SQL构建数据集,然后在MLlib中运行,但我找不到其他方法,我认为我可以在MLlib中自定义SQL调用方法中的函数,这将非常好,您可以查看spark错误列表,如果没有,你可以捐款