使用python将数据帧列表写入Excel工作表的最快方法
我有50个CSV文件,每个文件有20000行,我准备加入它们,然后按日期拆分它们。我的结果是一个数据帧列表,我希望将列表中的每个数据帧写入输出excel中的一张工作表。 我已经尝试过:使用python将数据帧列表写入Excel工作表的最快方法,python,excel,pandas,dataframe,Python,Excel,Pandas,Dataframe,我有50个CSV文件,每个文件有20000行,我准备加入它们,然后按日期拆分它们。我的结果是一个数据帧列表,我希望将列表中的每个数据帧写入输出excel中的一张工作表。 我已经尝试过: with pd.ExcelWriter('output.xlsx') as writer: cont=0 for x in List: x.to_excel(writer,sheet_name="csv_"+str(cont),index=False, en
with pd.ExcelWriter('output.xlsx') as writer:
cont=0
for x in List:
x.to_excel(writer,sheet_name="csv_"+str(cont),index=False, engine='xlsxwriter',na_rep="NAN",startrow=1,startcol=1)
cont+=1
但我有一个记忆错误,它需要永远。所以我的问题是,有人知道如何使用python以非常快速的方式将大数据帧写入excel工作表吗?或者我应该用另一种语言来写
我已经发布了另一个显示我的错误的问题:
要修复内存错误,必须增加
cont
变量
with pd.ExcelWriter('output.xlsx') as writer:
cont = 0
for x in List:
x.to_excel(writer,sheet_name="csv_"+str(cont),index=False, engine='xlsxwriter',na_rep="NAN",startrow=1,startcol=1)
cont += 1
更好的语法
with pd.ExcelWriter('output.xlsx') as writer:
for i, x in enumerate(List):
x.to_excel(writer,sheet_name="csv_"+str(i),index=False, engine='xlsxwriter',na_rep="NAN",startrow=1,startcol=1)
并检查要输出的文件是否遵循
如果全部签出,但速度仍然太慢,您可以使用。相关:您必须在一次操作中存储并运行所有50个CSV?您不能加载、转换然后导出每个文件以减少脚本的内存占用吗?这个问题其实不是速度问题,而是我收集的内存使用问题。谢谢,但这不是我的问题