Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用pickle时的大型序列化文件_Python_Python 3.x_Scikit Learn - Fatal编程技术网

Python 使用pickle时的大型序列化文件

Python 使用pickle时的大型序列化文件,python,python-3.x,scikit-learn,Python,Python 3.x,Scikit Learn,我对pickle函数有一个小问题。 我正在使用sci工具包随机林模块对特定数据集进行训练,我想在完成训练后对模块进行pickle处理,因此我不需要每次需要预测时都对其进行重新训练 我遇到的一个问题是,当我在机器学习模块(特别是随机林)上使用pickle时,pickle文件太大了。 数据集大小约为450MB,而pickle模块的大小相同,因此我猜它以某种方式将数据集包含到序列化对象中 我想知道是否有办法使pickle模块更小(比如-小得多)?请给出一些示例代码,说明您当前正在尝试的方法。请给出一些

我对pickle函数有一个小问题。 我正在使用sci工具包随机林模块对特定数据集进行训练,我想在完成训练后对模块进行pickle处理,因此我不需要每次需要预测时都对其进行重新训练

我遇到的一个问题是,当我在机器学习模块(特别是随机林)上使用pickle时,pickle文件太大了。 数据集大小约为450MB,而pickle模块的大小相同,因此我猜它以某种方式将数据集包含到序列化对象中


我想知道是否有办法使pickle模块更小(比如-小得多)?

请给出一些示例代码,说明您当前正在尝试的方法。请给出一些示例代码,说明您当前正在尝试的方法。