Pandas 多数据帧上的透视表

Pandas 多数据帧上的透视表,pandas,Pandas,我将大数据拆分为5个数据帧,其中包含完全相同的行。 只是想知道,是否有任何有效的方法来合并数据透视表 并并行处理它们 您希望执行的流程是: df1 --> df1_pivot ---> Merge(df1_pivot, df2_pivot) ---> df1_df2_pivot df1 --> df2_pivot 目标是并行处理数据帧并合并它们。 (使用多重处理) 编辑:Pivot可以是多索引,如下所示 pd.pivot_table(df1, index= ['co

我将大数据拆分为5个数据帧,其中包含完全相同的行。 只是想知道,是否有任何有效的方法来合并数据透视表 并并行处理它们

您希望执行的流程是:

df1 --> df1_pivot   ---> Merge(df1_pivot, df2_pivot) ---> df1_df2_pivot
df1 --> df2_pivot
目标是并行处理数据帧并合并它们。 (使用多重处理)

编辑:Pivot可以是多索引,如下所示

pd.pivot_table(df1, index= ['col4', 'col3' ], columns=[ 'col1', 'col2' ],  
                          values='val_tosum', aggfunc='sum' )

使用
pd.concat

pd.concat([df1, df2, df3, df4, df5], axis=1)

但行和列的大小有多级索引。@Tensor-huh!?有趣的。。。我在问题中没有看到这一点。也许你可以提供一些信息。