Python 保存和加载pkl文件
我正在使用pkl文件保存我正在进行的数据分析的步骤。基本上,在每个步骤(也是一个.py文件)中,我从上一步加载一个pkl文件,并将结果保存在一个新的pkl中 在我的最后一步中,加载过程令人怀疑地缓慢,特别是与同一台计算机处理信息和创建文件的时间相比。。。我只是想找点线索来了解发生了什么 我的疑点在于我在文件中存储信息的方式:我创建了一个包含所有信息的大词典。在最后一个例子中,我有两个字典(数字)A和B,一个数组C和两个字典(数据帧)D和E;我保存为pkl的是Python 保存和加载pkl文件,python,dictionary,io,pickle,Python,Dictionary,Io,Pickle,我正在使用pkl文件保存我正在进行的数据分析的步骤。基本上,在每个步骤(也是一个.py文件)中,我从上一步加载一个pkl文件,并将结果保存在一个新的pkl中 在我的最后一步中,加载过程令人怀疑地缓慢,特别是与同一台计算机处理信息和创建文件的时间相比。。。我只是想找点线索来了解发生了什么 我的疑点在于我在文件中存储信息的方式:我创建了一个包含所有信息的大词典。在最后一个例子中,我有两个字典(数字)A和B,一个数组C和两个字典(数据帧)D和E;我保存为pkl的是 dict_to_save={'A':
dict_to_save={'A':A, 'B':B, 'C':C, 'D':D, 'E':E}
怀疑的原因是,前面步骤中的pkl文件较大,但它们的字典具有较少的键(或内部较不复杂的数据类型),并且加载速度更快。这些字典大致有多大?加载它们需要多长时间?我可以选择元素的数量:每个字典有4个元素,一个86k的文件只需要10秒多一点。在我的笔记本电脑上,有400个元素(和一个小于1MA的文件),它会持续20分钟左右。你考虑过json吗?