Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/343.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 保存和加载pkl文件_Python_Dictionary_Io_Pickle - Fatal编程技术网

Python 保存和加载pkl文件

Python 保存和加载pkl文件,python,dictionary,io,pickle,Python,Dictionary,Io,Pickle,我正在使用pkl文件保存我正在进行的数据分析的步骤。基本上,在每个步骤(也是一个.py文件)中,我从上一步加载一个pkl文件,并将结果保存在一个新的pkl中 在我的最后一步中,加载过程令人怀疑地缓慢,特别是与同一台计算机处理信息和创建文件的时间相比。。。我只是想找点线索来了解发生了什么 我的疑点在于我在文件中存储信息的方式:我创建了一个包含所有信息的大词典。在最后一个例子中,我有两个字典(数字)A和B,一个数组C和两个字典(数据帧)D和E;我保存为pkl的是 dict_to_save={'A':

我正在使用pkl文件保存我正在进行的数据分析的步骤。基本上,在每个步骤(也是一个.py文件)中,我从上一步加载一个pkl文件,并将结果保存在一个新的pkl中

在我的最后一步中,加载过程令人怀疑地缓慢,特别是与同一台计算机处理信息和创建文件的时间相比。。。我只是想找点线索来了解发生了什么

我的疑点在于我在文件中存储信息的方式:我创建了一个包含所有信息的大词典。在最后一个例子中,我有两个字典(数字)A和B,一个数组C和两个字典(数据帧)D和E;我保存为pkl的是

dict_to_save={'A':A, 'B':B, 'C':C, 'D':D, 'E':E}

怀疑的原因是,前面步骤中的pkl文件较大,但它们的字典具有较少的键(或内部较不复杂的数据类型),并且加载速度更快。

这些字典大致有多大?加载它们需要多长时间?我可以选择元素的数量:每个字典有4个元素,一个86k的文件只需要10秒多一点。在我的笔记本电脑上,有400个元素(和一个小于1MA的文件),它会持续20分钟左右。你考虑过json吗?