can mlflow.spark';s保存的模型是否加载为Spark/Scala管道?

can mlflow.spark';s保存的模型是否加载为Spark/Scala管道?,scala,pyspark,mlflow,Scala,Pyspark,Mlflow,我们的算法工程师正在使用pyspark和mlflow开发机器学习模型。他试图使用mlflow.sparkAPI保存模型&模型格式是原生sparkmllib格式。模型是否可以从Spark Scala的代码加载?mlflow在跨语言使用方面似乎受到很大限制。mlflow Java/Scala客户端没有与mlflow Python相同的功能,因为它缺少项目和模型的概念。但是,您可以使用downloadArtifact方法,通过Scala读入PySpark生成的Spark ML模型 %python m

我们的算法工程师正在使用pyspark和mlflow开发机器学习模型。他试图使用
mlflow.spark
API保存模型&模型格式是原生
sparkmllib
格式。模型是否可以从Spark Scala的
代码加载?mlflow在跨语言使用方面似乎受到很大限制。

mlflow Java/Scala客户端没有与mlflow Python相同的功能,因为它缺少项目和模型的概念。但是,您可以使用downloadArtifact方法,通过Scala读入PySpark生成的Spark ML模型

%python
mlflow.spark.log_model(model, "spark-model")

%scala
val modelPath = client.downloadArtifacts(runId, "spark-model/sparkml").getAbsolutePath
import org.apache.spark.ml.PipelineModel
val model = PipelineModel.load(modelPath)
val predictions = model.transform(data)