Python在大文件写入时静默挂起
我正在尝试将大量的numpy nd_阵列写入磁盘 该列表大约有50000个元素长 每个元素都是一个整数大小（~2048,2）的nd_数组。阵列具有不同的形状 我现在使用的方法是 我也试过泡菜，它也有同样的问题：Python在大文件写入时静默挂起,python,file,serialization,yaml,pickle,Python,File,Serialization,Yaml,Pickle,我正在尝试将大量的numpy nd_阵列写入磁盘 该列表大约有50000个元素长 每个元素都是一个整数大小（~2048,2）的nd_数组。阵列具有不同的形状 我现在使用的方法是 我也试过泡菜，它也有同样的问题： 在一些小的列表中（大约3400长），这很好，完成得足够快（我不能说这是答案，但可能是它 当我在开发需要快速循环的应用程序时，我发现代码中的某些东西非常慢。它正在打开/关闭yaml文件 通过使用JSON解决了这个问题 不要将YAML用于任何其他用途，除非它是一种您不经常打开的配置 阵列保存
在一些小的列表中（大约3400长），这很好，完成得足够快（我不能说这是答案，但可能是它 当我在开发需要快速循环的应用程序时，我发现代码中的某些东西非常慢。它正在打开/关闭yaml文件 通过使用JSON解决了这个问题 不要将YAML用于任何其他用途，除非它是一种您不经常打开的配置 阵列保存的解决方案：
np.save(path,array) # path = path+name+'.npy'
>>> a = np.zeros(shape = [10,5,3])
>>> b = np.zeros(shape = [7,7,9])
>>> c = [a,b]
>>> np.save('data.npy',c)
>>> d = np.load('data.npy')
>>> d.shape
(2,)
>>> type(d)
<type 'numpy.ndarray'>
>>> d.shape
(2,)
>>> d[0].shape
(10, 5, 3)
>>>
>a=np.zero（形状=[10,5,3]）
>>>b=np.零（形状=[7,7,9]）
>>>c=[a，b]
>>>np.save（'data.npy'，c）
>>>d=np.load（'data.npy'）
>>>d.形状
(2,)
>>>类型（d）
>>>d.形状
(2,)
>>>d[0]。形状
(10, 5, 3)
>>>
我相信我不需要对上面提到的代码进行注释。但是，加载后，您将丢失列表，因为列表将转换为numpy数组。我不能说这是答案，但可能是答案 当我在开发需要快速循环的应用程序时，我发现代码中的某些东西非常慢。它正在打开/关闭yaml文件 通过使用JSON解决了这个问题 不要将YAML用于任何其他用途，除非它是一种您不经常打开的配置 阵列保存的解决方案：
np.save(path,array) # path = path+name+'.npy'
>>> a = np.zeros(shape = [10,5,3])
>>> b = np.zeros(shape = [7,7,9])
>>> c = [a,b]
>>> np.save('data.npy',c)
>>> d = np.load('data.npy')
>>> d.shape
(2,)
>>> type(d)
<type 'numpy.ndarray'>
>>> d.shape
(2,)
>>> d[0].shape
(10, 5, 3)
>>>
>a=np.zero（形状=[10,5,3]）
>>>b=np.零（形状=[7,7,9]）
>>>c=[a，b]
>>>np.save（'data.npy'，c）
>>>d=np.load（'data.npy'）
>>>d.形状
(2,)
>>>类型（d）
>>>d.形状
(2,)
>>>d[0]。形状
(10, 5, 3)
>>>
import numpy as np
import yaml
x = []
for i in range(0,50000):
x.append(np.random.rand(2048,2))
print("Arrays generated")
with open("t.yaml", 'w+', encoding='utf8') as outfile:
yaml.dump(x, outfile, default_flow_style=False, allow_unicode=True)
import numpy as np
import yaml
import pickle
x = []
for i in range(0,50000):
x.append(np.random.rand(2048,2))
print("Arrays generated")
pickle.dump( x, open( "t.yaml", "wb" ) )
import numpy as np
import yaml
x = []
for i in range(0,50000):
x.append(np.random.rand(2048,2))
print("Arrays generated")
with open("t.yaml", 'w+', encoding='utf8') as outfile:
yaml.dump(x, outfile, default_flow_style=False, allow_unicode=True)