Python 熊猫：最快的分组方式，按最大值分组，并对分组进行求和

这就是我想要实现的目标：

input: 
   B  C   D
A          
x  z  1  10
x  z  2  11
x  z  3  12
y  s  4  13
y  s  5  14

我有以下代码

import pandas as pd
df = pd.DataFrame({'A': ['x','x','x','y','y'],
               'B': ['z','z','z','s','s'],
               'C': [1,2,3,4,5],
               'D': [10,11,12,13,14]})

df = df.set_index('A') 
df['sum'] = df.groupby('A')['D'].transform('sum')
idx = df.groupby(['A'])['C'].transform(max) == df['C']
df= df[idx]

我在一个相当大的数据帧上做这件事。然而，这需要很长时间，尤其是第一组。 有没有办法加快这一进程？

---

由于我所要做的只是将总和取在一个组上，并将行保留在另一列最大的位置。

一般来说，我相信您的方法是有效的，除了一些改进：

# no need to set_index. Do so on smaller/filtered data if needed
# df = df.set_index('A') 

# this is good 
df['sum'] = df.groupby('A')['D'].transform('sum')

# there's a bit difference between `'max'` and `max`.
# one is vectorized, one is not
idx = df.groupby(['A'])['C'].transform('max') == df['C']

df= df[idx] 

另一个改进是，您可以执行lazy groupby：

groups = df.groupby('A')

df['sum'] = groups['D'].transform('sum')

idx = groups['C'].transform('max') == df['C']

df = df[idx]

试试这个：

tmp = df.groupby('A').agg(
    idx = ('C', 'idxmax'),
    D = ('D', 'sum')
)
result = df.loc[tmp['idx']].set_index('A').assign(D=tmp['D'])

这应该更快：

df = pd.DataFrame({'A': ['x','x','x','y','y'],
               'B': ['z','z','z','s','s'],
               'C': [1,2,3,4,5],
               'D': [10,11,12,13,14]})

df = df.set_index('A')

df1 = df.groupby(['A','B']).max()
df2 = df.groupby('A')['D'].sum()
df1.join(df2, lsuffix='_caller', rsuffix='_other')

---

似乎到目前为止，wwnde提供了最快的解决方案

我的贡献（比最初的方法快，但比其他方法慢）：

使用@Quang Hoang tip可以加快速度：

groups = df.groupby('A')
df['sum'] = groups['D'].transform('sum')
df = df.loc[ groups.C.idxmax()].set_index('A')

基准 输出：

                 mean    std    max    min
Approach                                  
wwnde           1.165  0.009  1.198  1.148
Quang_Hoang     1.488  0.039  1.659  1.439
Code_Different  1.532  0.027  1.638  1.500
caina_max       1.680  0.030  1.813  1.641
valenzio        2.847  0.036  3.030  2.805
Muriel          3.598  0.025  3.666  3.549

---

根据OP的代码，保留最后一行可能与保留

max不一样，特别是保留所有max。我认为你是对的，然后只去
df.groupby（'B'）.agg（B=（'C'，'max'），C=（'D'，'max'），Sum=（'D'，'Sum'））
如果我有更多的列，而不仅仅是B，我想在最后的df中“拖动”它们怎么办。这将成为一个非常重要的命令。使用多个聚合，列的命名几乎无法避免。尽管如此，可能还有其他选择，但还是要找到最佳答案。不过，这对ram来说并不容易。但我明天会试试。干得好！看起来@Quang_Hoang是最好的解决方案，因为他的代码对于具有许多列的DF是可伸缩的。但是，如果你只有几个栏和大量的数据，你应该考虑WWNDE的方法。
df['sum'] = df.groupby('A')['D'].transform('sum')
df = df.loc[df.groupby('A').C.idxmax()]

groups = df.groupby('A')
df['sum'] = groups['D'].transform('sum')
df = df.loc[ groups.C.idxmax()].set_index('A')

# Import libraries
import numpy as np
import pandas as pd
from time import time
import seaborn as sns
import matplotlib.pyplot as plt

# Make fake data with 10M rows and 10 target-groups
values = np.arange(10**7)
groups = [f'group{i}' for i in range(1,11) for j in range(int(len(values)/10))]
unused_col = [letter for letter in 'abcdefghij' for j in range(int(len(values)/10))]
df = pd.DataFrame(dict(A=groups, B=unused_col, C=values*0.01, D=values))

# Define functions
def caina_max(df):
    df = df.copy()
    groups = df.groupby('A')
    df['sum'] = groups['D'].transform('sum')
    df = df.loc[ groups.C.idxmax()].set_index('A')
    return df

def Code_Different(df):
    df = df.copy()
    tmp = df.groupby('A').agg(
        idx = ('C', 'idxmax'),
        D = ('D', 'sum'))
    df = df.loc[tmp['idx']].set_index('A').assign(Sum=tmp['D'])
    return df

def Muriel(df):
    df = df.copy()
    df = df.set_index('A')
    df1 = df.groupby(['A','B']).max()
    df2 = df.groupby('A')['D'].sum()
    df = df1.join(df2, lsuffix='_caller', rsuffix='_other')
    df = df.reset_index(level=1).rename(columns={'D_caller': 'D', 'D_other': 'Sum'})
    return df

def Quang_Hoang(df):
    df = df.copy()
    groups = df.groupby('A')
    df['sum'] = groups['D'].transform('sum')
    idx = groups['C'].transform('max') == df['C']
    df = df[idx].set_index('A')
    return df

def valenzio(df):
    df.copy()
    df = df.set_index('A') 
    df['sum'] = df.groupby('A')['D'].transform('sum')
    idx = df.groupby(['A'])['C'].transform(max) == df['C']
    df= df[idx]
    return df

def wwnde(df):
    df = df.copy()
    df = df.groupby('B').agg(B=('C','max'), C=('D','max'), Sum=('D','sum')).rename_axis('A', axis=0)
    return df

# Benchmark
functions = caina_max, Code_Different, Muriel, Quang_Hoang, valenzio, wwnde
times = {f.__name__: [] for f in functions}

for func in functions:
    fname = func.__name__
    for i in range(100): # reduce this range for faster reproducibility
        t0=time()
        func(df)
        t1=time()
        times[fname].append((t1-t0))

# Benchmark table 
df_benchmark = pd.DataFrame(times).agg([np.mean, np.std, max, min]).T.sort_values('mean').round(3)
df_benchmark.index.name = 'Approach'
# Benchmark figure
plt.figure(figsize=(12,8))
sns.boxplot(data=pd.melt(pd.DataFrame(times)), x='variable', y='value', )
plt.xticks(rotation=45)
plt.title(label='Benchmark', fontweight="bold", pad=20)
plt.ylabel('Time in seconds', labelpad=10)
plt.xlabel('')
plt.show()

                 mean    std    max    min
Approach                                  
wwnde           1.165  0.009  1.198  1.148
Quang_Hoang     1.488  0.039  1.659  1.439
Code_Different  1.532  0.027  1.638  1.500
caina_max       1.680  0.030  1.813  1.641
valenzio        2.847  0.036  3.030  2.805
Muriel          3.598  0.025  3.666  3.549