Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/visual-studio-2008/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何将Spark ML Lib模型保存/导出到PMML?_Hadoop_Deployment_Machine Learning_Apache Spark_Modeling - Fatal编程技术网

Hadoop 如何将Spark ML Lib模型保存/导出到PMML?

Hadoop 如何将Spark ML Lib模型保存/导出到PMML?,hadoop,deployment,machine-learning,apache-spark,modeling,Hadoop,Deployment,Machine Learning,Apache Spark,Modeling,我希望使用Spark ML Lib训练模型,但是能够以平台无关的格式导出模型。本质上,我想分离模型的创建和使用方式 我希望这种解耦的原因是,我可以在其他项目中部署模型。例如: 使用该模型在单独的独立程序中执行预测,该程序不依赖Spark进行评估 将该模型用于现有项目,如OpenScoring,并提供可以利用该模型的API 将现有模型加载回Spark以进行高通量预测 有人用Spark ML Lib做过类似的事情吗?Spark 1.4版本现在支持这一点。看见并非所有型号都可用(请参阅支持的型号(

我希望使用Spark ML Lib训练模型,但是能够以平台无关的格式导出模型。本质上,我想分离模型的创建和使用方式

我希望这种解耦的原因是,我可以在其他项目中部署模型。例如:

  • 使用该模型在单独的独立程序中执行预测,该程序不依赖Spark进行评估
  • 将该模型用于现有项目,如OpenScoring,并提供可以利用该模型的API
  • 将现有模型加载回Spark以进行高通量预测

有人用Spark ML Lib做过类似的事情吗?

Spark 1.4版本现在支持这一点。看见并非所有型号都可用(请参阅支持的型号(请参阅)


HTHs

你可以试试。我没有使用jpmml的实际知识,但我认为这正是你在使用Java或Scala时所需要的。我在研究jpmml,但我没有看到任何将ML Lib模型转换为jpmml的明确方法。你必须阅读文档……你看到以下Github问题了吗:@eliasah wh在文档中,您到底指的是什么?user1808924我还没有看到这个问题。PR似乎要解决学习者的序列化问题,而不是转换器的序列化问题,所以看起来我需要fork spark并为每个附加的特性转换器(缩放、特性提取等)开发PMML序列化逻辑