如何在python中生成更多的数据帧?
这就是我试图运行的代码如何在python中生成更多的数据帧?,python,Python,这就是我试图运行的代码 import pandas as pd import os jan = pd.read_csv(r"C:\Users\USER\Desktop\octave\1 January.csv") feb = pd.read_csv(r"C:\Users\USER\Desktop\octave\2 February.csv") mar = pd.read_csv(r"C:\Users\USER\Desktop\octave\3
import pandas as pd
import os
jan = pd.read_csv(r"C:\Users\USER\Desktop\octave\1 January.csv")
feb = pd.read_csv(r"C:\Users\USER\Desktop\octave\2 February.csv")
mar = pd.read_csv(r"C:\Users\USER\Desktop\octave\3 March.csv")
apr = pd.read_csv(r"C:\Users\USER\Desktop\octave\4 April.csv")
may = pd.read_csv(r"C:\Users\USER\Desktop\octave\5 May.csv")
jun = pd.read_csv(r"C:\Users\USER\Desktop\octave\6 June.csv")
jul = pd.read_csv(r"C:\Users\USER\Desktop\octave\7 July.csv")
aug = pd.read_csv(r"C:\Users\USER\Desktop\octave\8 August.csv")
sep = pd.read_csv(r"C:\Users\USER\Desktop\octave\9 September.csv")
oco = pd.read_csv(r"C:\Users\USER\Desktop\octave\10 October.csv")
nov = pd.read_csv(r"C:\Users\USER\Desktop\octave\11 November.csv")
dec = pd.read_csv(r"C:\Users\USER\Desktop\octave\12 December.csv")
meg = [jan,feb, mar, apr, may,jun,jul,aug,sep,oco,nov, dec]
df = pd.concat(meg)
但它正在抛出这个错误信息
MemoryError Traceback (most recent call last)
<ipython-input-7-08053c8d7ca6> in <module>
MemoryError回溯(最近一次调用)
在里面
请告诉我如何解决它?由于它会导致内存错误,我建议您将所有csv文件合并到一个csv文件中,并使用
pd读取。读取\u csv
而不是先读取然后合并。您还应该删除它们的实例以释放更多内存
1月至_csv('month.csv'))
二月至月csv('month.csv',mode='a',columns=False)
三月至月csv('month.csv',mode='a',columns=False)
4月至csv('month.csv',mode='a',columns=False)
may.to_csv('month.csv',mode='a',columns=False)
jun.to_csv('month.csv',mode='a',columns=False)
jul.to_csv('month.csv',mode='a',columns=False)
8月至csv('month.csv',mode='a',columns=False)
九月至月csv('month.csv',mode='a',columns=False)
oco.to_csv('month.csv',mode='a',columns=False)
11月至csv('month.csv',mode='a',columns=False)
12月至csv('month.csv',mode='a',columns=False)
#删除实例
1月、2月、3月、4月、5月、6月、7月、8月、9月、奥运会组委会、11月、12月
最终日期=pd.read\U csv('month.csv'))
读取大文件也可能导致内存错误。因此,请使用chunksize
或dask读取文件
导入dask.dataframe作为dd
最终日期=dd.read\u csv('month.csv')
假设您希望将所有csv文件中的数据合并到单个csv文件中:
# Import the Libraries
import os
import pandas as pd
# List Files
path = os.getcwd()
files = os.listdir(path)
files
# Pick CSV Files
files = [f for f in files if f[-3:] == 'csv']
files
## Initialize Empty df and loop over files and add data to the df
data=pd.DataFrame()
for f in files:
df = pd.read_csv(f)
data = df.append(data)
data.head()
data.to_excel('data.xlsx')
如果csv文件不在同一位置,请使用os.cwd更改位置
使用相同方法的示例如下:
os.cwd('C:/Users/Admin/Desktop/Test')
请发布完整的代码。您的数据帧大小是多少?@Huzefa我已经发布了完整的代码code@PrakashDahal每个DataFrame有超过500000条记录,这就是为什么你会出现内存错误谢谢你@Daharman当我尝试代码时。。它抛出此错误FileNotFoundError:[Errno 2]文件b'1一月.csv'不存在:b'1一月。csv@MichealMololuwa只需查看文件的完整路径,并按说明使用os.chdir命令错误本身是不言自明的在指定位置找不到文件