Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/318.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/visual-studio-2008/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何在单个训练期间保存和快照机器学习模型?_Python_Python 3.x_Machine Learning_Scikit Learn - Fatal编程技术网

Python 如何在单个训练期间保存和快照机器学习模型?

Python 如何在单个训练期间保存和快照机器学习模型?,python,python-3.x,machine-learning,scikit-learn,Python,Python 3.x,Machine Learning,Scikit Learn,我必须在有7天时间限制的集群上运行我的模型,如果计算成本超过7天,作业将在集群上结束。因此,将不会完成训练以获得保存的预测模型 我正在从scikit learn培训一些分类器模型(如SVC、KNeighborsClassifier等),并想知道是否有函数或库用于在特定持续时间之间对模型进行快照,然后从停止的点继续培训(类似于深度学习中应用的内容) 谢谢一般来说,在scikit learn中不可能在安装过程中拍摄快照。这家图书馆提供的服务有限。可以增量训练某些模型,但不能训练其他模型。对于可能的模

我必须在有7天时间限制的集群上运行我的模型,如果计算成本超过7天,作业将在集群上结束。因此,将不会完成训练以获得保存的预测模型

我正在从
scikit learn
培训一些分类器模型(如SVC、KNeighborsClassifier等),并想知道是否有函数或库用于在特定持续时间之间对模型进行快照,然后从停止的点继续培训(类似于深度学习中应用的内容)


谢谢

一般来说,在scikit learn中不可能在安装过程中拍摄快照。这家图书馆提供的服务有限。可以增量训练某些模型,但不能训练其他模型。对于可能的模型,您必须编写不同数量的锅炉铭牌代码

下面列出的型号具有用于此目的的
warm\u start
属性和/或
.partial\u fit()
方法。您可以在成批数据的循环中调用
partial\u fit
。此外,您需要编写代码来存储和检索培训进度和部分培训的模型(有关模型持久性的更多信息,请参阅)


一些模型(特别是集合,如随机森林)原则上可以合并。因此,您可以在一个循环中训练多个独立的模型实例,然后合并它们,而不是增量地训练一个模型。然而,据我所知,scikit学习API不支持这种合并。因此,虽然有可能做到这一点,但它需要破解私有属性和深入了解模型的数学和实现。

谢谢,增量学习不是适用于少数有限的分类器(根据列表)吗?例如,此方法不能在SVC模型上执行,对吗?@S.EB。SVC是一个问题;它不支持增量学习,我不认为有办法合并独立培训的SVC。经验法则:只有使用迭代训练(如梯度下降)的模型才能增量训练。