关于Spark Scala ML API的模型训练结果
我是spark scalaML软件包的新手 组装管道并将某些回归模型拟合到训练数据集(使用命令:关于Spark Scala ML API的模型训练结果,scala,apache-spark,pipeline,Scala,Apache Spark,Pipeline,我是spark scalaML软件包的新手 组装管道并将某些回归模型拟合到训练数据集(使用命令:val model=pipeline.fit(training))后,如何检查/打印拟合的模型详细信息:系数、统计信息、R2等 类似R语言中的“摘要(模型)”之类的东西 谢谢 您可以做的是,获得适当的阶段,然后查看其内容: val pipelineModel: PipelineModel = pipelineData.fit(data) val transformedColumns = pipelin
val model=pipeline.fit(training)
)后,如何检查/打印拟合的模型详细信息:系数、统计信息、R2等
类似R语言中的“摘要(模型)
”之类的东西
谢谢 您可以做的是,获得适当的阶段,然后查看其内容:
val pipelineModel: PipelineModel = pipelineData.fit(data)
val transformedColumns = pipelineModel.stages
val lda = transformedColumns(9).asInstanceOf[LDAModel]
// 9 is the index of the stage in the pipeline. If you just have a single stage, it would be zero then
在上述情况下,一旦拥有了LDAModel
,您现在就可以查看统计数据了
LDAModel
只是一个例子。假设管道阶段为CountVectorizer
,则使用CountVectorizerModel
。如果您使用IDF
,那么请使用IDFModel
我可以问一下什么是“LDAModel”吗?如果我按字面意思使用“LDAModel”,我会得到以下错误消息:command-1400048289403228:2:error:notfound:typeldamodel。LDAModel只是一个例子。这取决于你的型号。如果您的管道使用了Count向量器
,那么您的模型将是counter向量器模型