Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何在ApacheSpark中保存和加载MLLib模型?_Python_Apache Spark_Pyspark_Apache Spark Mllib - Fatal编程技术网

Python 如何在ApacheSpark中保存和加载MLLib模型?

Python 如何在ApacheSpark中保存和加载MLLib模型?,python,apache-spark,pyspark,apache-spark-mllib,Python,Apache Spark,Pyspark,Apache Spark Mllib,我在ApacheSpark中训练了一个分类模型(使用pyspark)。我将模型存储在一个对象中,LogisticRegressionModel。现在,我想对新数据进行预测。我想存储模型,并将其读回一个新程序,以便进行预测。知道如何储存模型吗?我想用pickle,但我对python和Spark都是新手,所以我想听听社区的想法。你可以通过使用mllib模型保存你的模型 #让lrm成为一个逻辑回归模型 lrm.save(sc,“lrm_model.model”) 存储后,您可以将其加载到另一个应用程

我在ApacheSpark中训练了一个分类模型(使用
pyspark
)。我将模型存储在一个对象中,
LogisticRegressionModel
。现在,我想对新数据进行预测。我想存储模型,并将其读回一个新程序,以便进行预测。知道如何储存模型吗?我想用pickle,但我对python和Spark都是新手,所以我想听听社区的想法。

你可以通过使用
mllib
模型保存你的模型

#让lrm成为一个逻辑回归模型
lrm.save(sc,“lrm_model.model”)
存储后,您可以将其加载到另一个应用程序中

sameModel=LogisticRegressionModel.load(sc,“lrm\U模型.model”)
正如@zero323之前所述,还有另一种方法可以实现这一点,即使用

是一种基于XML的文件格式,由数据挖掘小组开发,旨在为应用程序提供一种描述和交换数据挖掘和机器学习算法生成的模型的方法


这与这个问题稍微相关,不同之处在于,在这个问题中,您要求使用
MLLib