Python 已终止9:在列表中追加数据帧时出错
我正在尝试遍历一个充满pickle(.pkl)文件的文件夹,并将pickle文件中的所有数据帧合并到一个HDF5文件中 但是,当我尝试用100个数据帧追加dfs[]时,在for循环的中途出现了一个“Killed:9”错误。有人知道更好的方法吗?我希望能够在一个帧中保存所有数据,但由于数据量很大,这似乎很困难。。想想总共10亿行Python 已终止9:在列表中追加数据帧时出错,python,pandas,dataframe,hdf5,Python,Pandas,Dataframe,Hdf5,我正在尝试遍历一个充满pickle(.pkl)文件的文件夹,并将pickle文件中的所有数据帧合并到一个HDF5文件中 但是,当我尝试用100个数据帧追加dfs[]时,在for循环的中途出现了一个“Killed:9”错误。有人知道更好的方法吗?我希望能够在一个帧中保存所有数据,但由于数据量很大,这似乎很困难。。想想总共10亿行 dfs = [] count = 0 path = '/Users/srayan/Desktop/Pickle' for filename in glob.glob(os
dfs = []
count = 0
path = '/Users/srayan/Desktop/Pickle'
for filename in glob.glob(os.path.join(path, '*.pkl')):
dfs.append(pd.read_pickle(filename))
df = pd.concat(dfs)
key = 'my_key'
df.to_hdf('merged.h5', key)
在我看来,问题在于数据太大。如果仅使用50个文件,解决方案有效?是的,但我需要在一个数据帧中使用所有100个数据帧来分析我的数据