Python 如何在ApacheSpark中保存和加载MLLib模型?
我在ApacheSpark中训练了一个分类模型(使用Python 如何在ApacheSpark中保存和加载MLLib模型?,python,apache-spark,pyspark,apache-spark-mllib,Python,Apache Spark,Pyspark,Apache Spark Mllib,我在ApacheSpark中训练了一个分类模型(使用pyspark)。我将模型存储在一个对象中,LogisticRegressionModel。现在,我想对新数据进行预测。我想存储模型,并将其读回一个新程序,以便进行预测。知道如何储存模型吗?我想用pickle,但我对python和Spark都是新手,所以我想听听社区的想法。你可以通过使用mllib模型保存你的模型 #让lrm成为一个逻辑回归模型 lrm.save(sc,“lrm_model.model”) 存储后,您可以将其加载到另一个应用程
pyspark
)。我将模型存储在一个对象中,LogisticRegressionModel
。现在,我想对新数据进行预测。我想存储模型,并将其读回一个新程序,以便进行预测。知道如何储存模型吗?我想用pickle,但我对python和Spark都是新手,所以我想听听社区的想法。你可以通过使用mllib
模型保存你的模型
#让lrm成为一个逻辑回归模型
lrm.save(sc,“lrm_model.model”)
存储后,您可以将其加载到另一个应用程序中
sameModel=LogisticRegressionModel.load(sc,“lrm\U模型.model”)
正如@zero323之前所述,还有另一种方法可以实现这一点,即使用
是一种基于XML的文件格式,由数据挖掘小组开发,旨在为应用程序提供一种描述和交换数据挖掘和机器学习算法生成的模型的方法
这与这个问题稍微相关,不同之处在于,在这个问题中,您要求使用
MLLib