Python 将数据帧拆分为块,并将每个新块命名为数据帧
是否有一个好的代码可以将数据帧分割成块,并自动将每个块命名为自己的数据帧 例如,dfmaster有1000条记录。按200拆分并创建df1、df2、…df5 任何指导都将不胜感激Python 将数据帧拆分为块,并将每个新块命名为数据帧,python,loops,dataframe,split,chunks,Python,Loops,Dataframe,Split,Chunks,是否有一个好的代码可以将数据帧分割成块,并自动将每个块命名为自己的数据帧 例如,dfmaster有1000条记录。按200拆分并创建df1、df2、…df5 任何指导都将不胜感激 我已经在其他的电路板上看过了,但是对于一个可以自动创建新数据帧的函数没有任何指导 我觉得这些想法很有帮助: 通过列表解决方案: 使用numpy.split的解决方案: 只需首先使用df=df.values将数据帧转换为numpy.array。使用numpy进行拆分: 见下例: In [2095]: df Out[2
我已经在其他的电路板上看过了,但是对于一个可以自动创建新数据帧的函数没有任何指导 我觉得这些想法很有帮助: 通过列表解决方案: 使用numpy.split的解决方案:
只需首先使用
df=df.values
将数据帧转换为numpy.array。使用numpy
进行拆分:
见下例:
In [2095]: df
Out[2095]:
0 1 2 3 4 5 6 7 8 9 10
0 0.25 0.00 0.00 0.0 0.00 0.0 0.94 0.00 0.00 0.63 0.00
1 0.51 0.51 NaN NaN NaN NaN NaN NaN NaN NaN NaN
2 0.54 0.54 0.00 0.0 0.63 0.0 0.51 0.54 0.51 1.00 0.51
3 0.81 0.05 0.13 0.7 0.02 NaN NaN NaN NaN NaN NaN
In [2096]: np.split(df, 2)
Out[2096]:
[ 0 1 2 3 4 5 6 7 8 9 10
0 0.25 0.00 0.0 0.0 0.0 0.0 0.94 0.0 0.0 0.63 0.0
1 0.51 0.51 NaN NaN NaN NaN NaN NaN NaN NaN NaN,
0 1 2 3 4 5 6 7 8 9 10
2 0.54 0.54 0.00 0.0 0.63 0.0 0.51 0.54 0.51 1.0 0.51
3 0.81 0.05 0.13 0.7 0.02 NaN NaN NaN NaN NaN NaN]
df
被分成两个数据帧,每个数据帧有2行。
您可以执行np.split(df,500)
如果您使用pd.read\u csv或任何类似工具读取数据,您可以使用chunksize参数:。您将在pd.read_csv(chunksize=200)中创建一个简单的for chunk,以此类推。