Python pandas.concat与pandas.append内存考虑因素_Python_Pandas_Memory_Memory Management_Concatenation

Python pandas.concat与pandas.append内存考虑因素

python pandas memory memory-management

Python pandas.concat与pandas.append内存考虑因素,python,pandas,memory,memory-management,concatenation,Python,Pandas,Memory,Memory Management,Concatenation,我正试图找出多个大数据帧的列表，而python在这样做时抛出了内存错误。我检查了其他解决方案，它们似乎都依赖于在循环中保存CSV和重新编码。不幸的是，在我的具体案例中，我无法保存CSV 我想知道pandas.append是否是连接数据帧列表的更好方法。花费的时间对我来说并不是一个很大的考虑因素，而是节省内存例如，以下哪一项更节省内存： l= [pd.DataFrame(),pd.DataFrame()] dfAll = pd.concat(l) ### V.S. ### dfAll = p

我正试图找出多个大数据帧的列表，而python在这样做时抛出了内存错误。我检查了其他解决方案，它们似乎都依赖于在循环中保存CSV和重新编码。不幸的是，在我的具体案例中，我无法保存CSV

我想知道pandas.append是否是连接数据帧列表的更好方法。花费的时间对我来说并不是一个很大的考虑因素，而是节省内存

例如，以下哪一项更节省内存：

l= [pd.DataFrame(),pd.DataFrame()]
dfAll = pd.concat(l)

### V.S. ###

dfAll = pd.DataFrame()
for df in l:
   dfAll = dfAll.append(df)