Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark ML管道使用_Apache Spark_Apache Spark Sql_Spark Dataframe_Apache Spark Mllib - Fatal编程技术网

Apache spark Spark ML管道使用

Apache spark Spark ML管道使用,apache-spark,apache-spark-sql,spark-dataframe,apache-spark-mllib,Apache Spark,Apache Spark Sql,Spark Dataframe,Apache Spark Mllib,我创建了一个带有几个转换器的ML管道,包括一个StringIndexer,它在数据标签培训期间使用。 然后,我将生成的PipelineModel存储在一个没有标签的数据集上,该数据集稍后将用于数据准备和预测 问题在于,创建的管道模型的转换函数无法应用于新的数据帧,因为它希望数据标签可用 我错过了什么? 如何做到这一点 注意:我的目标是有一个单一的管道(即,我希望将各种转换和ML算法保持在一起) 谢谢 您应该粘贴源代码。然后您的测试数据格式应该与列车数据(包括功能名称)一致。但是您不需要标签列。

我创建了一个带有几个转换器的ML管道,包括一个StringIndexer,它在数据标签培训期间使用。 然后,我将生成的PipelineModel存储在一个没有标签的数据集上,该数据集稍后将用于数据准备和预测

问题在于,创建的管道模型的转换函数无法应用于新的数据帧,因为它希望数据标签可用

我错过了什么? 如何做到这一点

注意:我的目标是有一个单一的管道(即,我希望将各种转换和ML算法保持在一起)


谢谢

您应该粘贴源代码。然后您的测试数据格式应该与列车数据(包括功能名称)一致。但是您不需要标签列。 你可以参考