Apache spark 保存MLlib模型时控制文件数

Apache spark 保存MLlib模型时控制文件数,apache-spark,apache-spark-mllib,Apache Spark,Apache Spark Mllib,使用model.save()将MLlib模型保存到S3时,是否有方法控制创建的拼花地板文件的数量?我知道,如果我正在保存RDD或数据帧,我可以通过重新划分数据来控制这一点,但找不到任何关于保存模型的参考。在spark 2.4+中,您可以将模型保存为单个pmml文件,请参阅:谢谢。如果我能控制这个数字,是否可以将模型保存在多个文件中?对不起,我不确定这是否可行。出于好奇,为什么在保存模型时需要特定数量的文件?为了加快保存非常大的模型。在spark 2.4+中,您可以将模型保存为单个pmml文件,请

使用model.save()将MLlib模型保存到S3时,是否有方法控制创建的拼花地板文件的数量?我知道,如果我正在保存RDD或数据帧,我可以通过重新划分数据来控制这一点,但找不到任何关于保存模型的参考。

在spark 2.4+中,您可以将模型保存为单个pmml文件,请参阅:谢谢。如果我能控制这个数字,是否可以将模型保存在多个文件中?对不起,我不确定这是否可行。出于好奇,为什么在保存模型时需要特定数量的文件?为了加快保存非常大的模型。在spark 2.4+中,您可以将模型保存为单个pmml文件,请参见:谢谢。如果我能控制这个数字,是否可以将模型保存在多个文件中?对不起,我不确定这是否可行。出于好奇,为什么在保存模型时需要特定数量的文件?以加快保存非常大的模型。