Python 3.x pyspark中管道的持久化模型

Python 3.x pyspark中管道的持久化模型,python-3.x,apache-spark,pyspark,Python 3.x,Apache Spark,Pyspark,我有一个关于如何提取管道的最佳模型进行评分和进一步使用的问题。例如,我曾尝试使用JPMML Pypspark2库将其保存到pmml文件,但我遇到了保存文件的问题。使用pyspark还有其他保存管道模型的方法吗?在经过培训的模型上使用bestModel函数transformer,如下所示 打印(spark.version) 2.4.3 #将训练数据上的模型拟合到cv/网格搜索 cvModel=cv_网格拟合(列车df) #从cv网格搜索保存最佳模型 mPath=“/path/to/model/fo

我有一个关于如何提取管道的最佳模型进行评分和进一步使用的问题。例如,我曾尝试使用JPMML Pypspark2库将其保存到pmml文件,但我遇到了保存文件的问题。使用pyspark还有其他保存管道模型的方法吗?

在经过培训的模型上使用
bestModel
函数
transformer
,如下所示

打印(spark.version)
2.4.3
#将训练数据上的模型拟合到cv/网格搜索
cvModel=cv_网格拟合(列车df)
#从cv网格搜索保存最佳模型
mPath=“/path/to/model/folder”
cvModel.bestModel.write().overwrite().save(mPath)
#通过管道api读取pickle模型
从pyspark.ml.pipeline导入PipelineModel
persistedModel=PipelineModel.load(兆帕)
#预测
predictionsDF=持久化模型转换(测试df)
额外读取的源代码=>