Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
关于Spark Scala ML API的模型训练结果_Scala_Apache Spark_Pipeline - Fatal编程技术网

关于Spark Scala ML API的模型训练结果

关于Spark Scala ML API的模型训练结果,scala,apache-spark,pipeline,Scala,Apache Spark,Pipeline,我是spark scalaML软件包的新手 组装管道并将某些回归模型拟合到训练数据集(使用命令:val model=pipeline.fit(training))后,如何检查/打印拟合的模型详细信息:系数、统计信息、R2等 类似R语言中的“摘要(模型)”之类的东西 谢谢 您可以做的是,获得适当的阶段,然后查看其内容: val pipelineModel: PipelineModel = pipelineData.fit(data) val transformedColumns = pipelin

我是spark scalaML软件包的新手

组装管道并将某些回归模型拟合到训练数据集(使用命令:
val model=pipeline.fit(training)
)后,如何检查/打印拟合的模型详细信息:系数、统计信息、R2等

类似R语言中的“
摘要(模型)
”之类的东西


谢谢

您可以做的是,获得适当的阶段,然后查看其内容:

val pipelineModel: PipelineModel = pipelineData.fit(data)
val transformedColumns = pipelineModel.stages
val lda = transformedColumns(9).asInstanceOf[LDAModel]
// 9 is the index of the stage in the pipeline. If you just have a single stage, it would be zero then
在上述情况下,一旦拥有了
LDAModel
,您现在就可以查看统计数据了


LDAModel
只是一个例子。假设管道阶段为
CountVectorizer
,则使用
CountVectorizerModel
。如果您使用
IDF
,那么请使用
IDFModel

我可以问一下什么是“LDAModel”吗?如果我按字面意思使用“LDAModel”,我会得到以下错误消息:command-1400048289403228:2:error:notfound:typeldamodel。LDAModel只是一个例子。这取决于你的型号。如果您的管道使用了
Count向量器
,那么您的模型将是
counter向量器模型