Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/image/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 已终止9:在列表中追加数据帧时出错_Python_Pandas_Dataframe_Hdf5 - Fatal编程技术网

Python 已终止9:在列表中追加数据帧时出错

Python 已终止9:在列表中追加数据帧时出错,python,pandas,dataframe,hdf5,Python,Pandas,Dataframe,Hdf5,我正在尝试遍历一个充满pickle(.pkl)文件的文件夹,并将pickle文件中的所有数据帧合并到一个HDF5文件中 但是,当我尝试用100个数据帧追加dfs[]时,在for循环的中途出现了一个“Killed:9”错误。有人知道更好的方法吗?我希望能够在一个帧中保存所有数据,但由于数据量很大,这似乎很困难。。想想总共10亿行 dfs = [] count = 0 path = '/Users/srayan/Desktop/Pickle' for filename in glob.glob(os

我正在尝试遍历一个充满pickle(.pkl)文件的文件夹,并将pickle文件中的所有数据帧合并到一个HDF5文件中

但是,当我尝试用100个数据帧追加dfs[]时,在for循环的中途出现了一个“Killed:9”错误。有人知道更好的方法吗?我希望能够在一个帧中保存所有数据,但由于数据量很大,这似乎很困难。。想想总共10亿行

dfs = []
count = 0
path = '/Users/srayan/Desktop/Pickle'
for filename in glob.glob(os.path.join(path, '*.pkl')):
    dfs.append(pd.read_pickle(filename))

df = pd.concat(dfs)
key = 'my_key'
df.to_hdf('merged.h5', key)

在我看来,问题在于数据太大。如果仅使用50个文件,解决方案有效?是的,但我需要在一个数据帧中使用所有100个数据帧来分析我的数据