Python 使用pandas GroupBy获取每组的统计数据(如计数、平均值等)?
我有一个数据框Python 使用pandas GroupBy获取每组的统计数据(如计数、平均值等)?,python,pandas,dataframe,group-by,pandas-groupby,Python,Pandas,Dataframe,Group By,Pandas Groupby,我有一个数据框df,我使用了从它到groupby的几个列: df['col1','col2','col3','col4'].groupby(['col1','col2']).mean() 通过上面的方法,我几乎可以得到我需要的表(数据帧)。缺少的是一个额外的列,其中包含每个组中的行数。换句话说,我的意思是,但我也想知道有多少数字被用来获得这些方法。例如,第一组中有8个值,第二组中有10个值,依此类推 简而言之:如何获取数据帧的分组统计信息?在groupby对象上,agg函数可以立即获取列表。这
df
,我使用了从它到groupby
的几个列:
df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()
通过上面的方法,我几乎可以得到我需要的表(数据帧)。缺少的是一个额外的列,其中包含每个组中的行数。换句话说,我的意思是,但我也想知道有多少数字被用来获得这些方法。例如,第一组中有8个值,第二组中有10个值,依此类推
简而言之:如何获取数据帧的分组统计信息?在
groupby
对象上,agg
函数可以立即获取列表。这将为您提供所需的结果:
df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])
快速回答:
获取每个组的行数的最简单方法是调用.size()
,它返回一个系列
:
df.groupby(['col1','col2']).size()
通常,您希望将此结果作为
数据帧
(而不是系列
),因此您可以执行以下操作:
df.groupby(['col1', 'col2']).size().reset_index(name='counts')
如果您想了解如何计算每组的行数和其他统计信息,请继续阅读下面的内容。
详细示例: 考虑以下示例数据帧:
In [2]: df
Out[2]:
col1 col2 col3 col4 col5 col6
0 A B 0.20 -0.61 -0.49 1.49
1 A B -1.53 -1.01 -0.39 1.82
2 A B -0.44 0.27 0.72 0.11
3 A B 0.28 -1.32 0.38 0.18
4 C D 0.12 0.59 0.81 0.66
5 C D -0.13 -1.65 -1.64 0.50
6 C D -1.42 -0.11 -0.18 -0.44
7 E F -0.00 1.42 -0.26 1.17
8 E F 0.91 -0.47 1.35 -0.34
9 G H 1.48 -0.63 -1.14 0.17
首先,让我们使用.size()
获取行计数:
In [3]: df.groupby(['col1', 'col2']).size()
Out[3]:
col1 col2
A B 4
C D 3
E F 2
G H 1
dtype: int64
In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]:
col1 col2 counts
0 A B 4
1 C D 3
2 E F 2
3 G H 1
然后让我们使用.size().reset_index(name='counts')
获取行计数:
In [3]: df.groupby(['col1', 'col2']).size()
Out[3]:
col1 col2
A B 4
C D 3
E F 2
G H 1
dtype: int64
In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]:
col1 col2 counts
0 A B 4
1 C D 3
2 E F 2
3 G H 1
包括更多统计数据的结果 要计算分组数据的统计信息时,通常如下所示:
In [5]: (df
...: .groupby(['col1', 'col2'])
...: .agg({
...: 'col3': ['mean', 'count'],
...: 'col4': ['median', 'min', 'count']
...: }))
Out[5]:
col4 col3
median min count mean count
col1 col2
A B -0.810 -1.32 4 -0.372500 4
C D -0.110 -1.65 3 -0.476667 3
E F 0.475 -0.47 2 0.455000 2
G H -0.630 -0.63 1 1.480000 1
In [6]: gb = df.groupby(['col1', 'col2'])
...: counts = gb.size().to_frame(name='counts')
...: (counts
...: .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
...: .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
...: .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
...: .reset_index()
...: )
...:
Out[6]:
col1 col2 counts col3_mean col4_median col4_min
0 A B 4 -0.372500 -0.810 -1.32
1 C D 3 -0.476667 -0.110 -1.65
2 E F 2 0.455000 0.475 -0.47
3 G H 1 1.480000 -0.630 -0.63
上面的结果处理起来有点烦人,因为嵌套的列标签,而且行计数是基于每列的
为了更好地控制输出,我通常将统计数据拆分为单独的聚合,然后使用join
进行组合。看起来是这样的:
In [5]: (df
...: .groupby(['col1', 'col2'])
...: .agg({
...: 'col3': ['mean', 'count'],
...: 'col4': ['median', 'min', 'count']
...: }))
Out[5]:
col4 col3
median min count mean count
col1 col2
A B -0.810 -1.32 4 -0.372500 4
C D -0.110 -1.65 3 -0.476667 3
E F 0.475 -0.47 2 0.455000 2
G H -0.630 -0.63 1 1.480000 1
In [6]: gb = df.groupby(['col1', 'col2'])
...: counts = gb.size().to_frame(name='counts')
...: (counts
...: .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
...: .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
...: .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
...: .reset_index()
...: )
...:
Out[6]:
col1 col2 counts col3_mean col4_median col4_min
0 A B 4 -0.372500 -0.810 -1.32
1 C D 3 -0.476667 -0.110 -1.65
2 E F 2 0.455000 0.475 -0.47
3 G H 1 1.480000 -0.630 -0.63
脚注 用于生成测试数据的代码如下所示:
In [1]: import numpy as np
...: import pandas as pd
...:
...: keys = np.array([
...: ['A', 'B'],
...: ['A', 'B'],
...: ['A', 'B'],
...: ['A', 'B'],
...: ['C', 'D'],
...: ['C', 'D'],
...: ['C', 'D'],
...: ['E', 'F'],
...: ['E', 'F'],
...: ['G', 'H']
...: ])
...:
...: df = pd.DataFrame(
...: np.hstack([keys,np.random.randn(10,4).round(2)]),
...: columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
...: )
...:
...: df[['col3', 'col4', 'col5', 'col6']] = \
...: df[['col3', 'col4', 'col5', 'col6']].astype(float)
...:
免责声明:
df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df
如果要聚合的某些列具有空值,那么您确实希望将组行计数视为每个列的独立聚合。否则,您可能会被误导,不知道实际使用了多少条记录来计算平均值,因为熊猫会在平均值计算中删除
NaN
条目,而不告诉您 通过使用groupby和count,我们可以很容易地做到这一点。但是,我们应该记住使用reset_index()
瑞士军刀:
返回各组的计数
、平均值
、标准值
,以及其他有用的统计信息
df.groupby(['A', 'B'])['C'].describe()
count mean std min 25% 50% 75% max
A B
bar one 1.0 0.40 NaN 0.40 0.40 0.40 0.40 0.40
three 1.0 2.24 NaN 2.24 2.24 2.24 2.24 2.24
two 1.0 -0.98 NaN -0.98 -0.98 -0.98 -0.98 -0.98
foo one 2.0 1.36 0.58 0.95 1.15 1.36 1.56 1.76
three 1.0 -0.15 NaN -0.15 -0.15 -0.15 -0.15 -0.15
two 2.0 1.42 0.63 0.98 1.20 1.42 1.65 1.87
要获得特定的统计数据,只需选择它们
df.groupby(['A', 'B'])['C'].describe()[['count', 'mean']]
count mean
A B
bar one 1.0 0.400157
three 1.0 2.240893
two 1.0 -0.977278
foo one 2.0 1.357070
three 1.0 -0.151357
two 2.0 1.423148
descripe
适用于多列(将['C']
更改为['C',D']
——或者将其全部删除,然后查看会发生什么,结果是一个多索引列数据帧)
您还可以获得字符串数据的不同统计信息。举个例子
df2 = df.assign(D=list('aaabbccc')).sample(n=100, replace=True)
with pd.option_context('precision', 2):
display(df2.groupby(['A', 'B'])
.describe(include='all')
.dropna(how='all', axis=1))
C D
count mean std min 25% 50% 75% max count unique top freq
A B
bar one 14.0 0.40 5.76e-17 0.40 0.40 0.40 0.40 0.40 14 1 a 14
three 14.0 2.24 4.61e-16 2.24 2.24 2.24 2.24 2.24 14 1 b 14
two 9.0 -0.98 0.00e+00 -0.98 -0.98 -0.98 -0.98 -0.98 9 1 c 9
foo one 22.0 1.43 4.10e-01 0.95 0.95 1.76 1.76 1.76 22 2 a 13
three 15.0 -0.15 0.00e+00 -0.15 -0.15 -0.15 -0.15 -0.15 15 1 c 15
two 26.0 1.49 4.48e-01 0.98 0.98 1.87 1.87 1.87 26 2 b 15
有关更多信息,请参阅
熊猫>=1.1: pandas 1.1提供了这一功能,如果您只想捕获每个组的大小,这将减少
GroupBy
,而且速度更快
df.value_counts(subset=['col1', 'col2'])
最小示例
# Setup
np.random.seed(0)
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
'foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three',
'two', 'two', 'one', 'three'],
'C' : np.random.randn(8),
'D' : np.random.randn(8)})
df.value_counts(['A', 'B'])
A B
foo two 2
one 2
three 1
bar two 1
three 1
one 1
dtype: int64
如果您没有找到上面要查找的内容,则具有支持的静态分析、相关性和回归工具的全面列表。创建组对象并调用方法,如以下示例所示:
grp = df.groupby(['col1', 'col2', 'col3'])
grp.max()
grp.mean()
grp.describe()
要获取多个统计信息,请折叠索引并保留列名:
df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df
产生:
df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df
请尝试此代码
new_column=df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).count()
df['count_it']=new_column
df
我认为该代码将添加一个名为“count it”的列,该列对每个组进行计数如果您熟悉tidyverse R软件包,下面是一种在python中执行此操作的方法:
从数据r.all导入TIBLE、rnorm、f、group_by、SUMMARY、mean、n、rep
df=tibble(
col1=rep(['A','B'],5),
col2=rep(['C','D'],每个=5),
col3=rnorm(10),
col4=rnorm(10)
)
df>>分组依据(f.col1,f.col2)>>总结(
计数=n(),
col3_mean=平均值(f.col3),
col4_平均值=平均值(f.col4)
)
我是这个包裹的作者。如果您对如何使用它有任何疑问,请随时提交问题。我认为您需要列参考作为列表。你的意思可能是:
df[['col1','col2','col3','col4']].groupby(['col1','col2']).agg(['mean','count'])
这会创建四个计数列,但如何只获得一个?(这个问题要求“增加一列”,这也是我想要的。)如果你想每组只得到一列,请看我的答案。如果我有一个单独的被调用的计数,而不是对分组类型的行进行计数,我需要将列计数加起来。@Jaanresult=df['col1','col2','col3','col4'].groupby(['col1','col2']).mean();counts=times.groupby(['col1','col2']).size();result['count']=counts
嘿,我真的很喜欢你的解决方案,尤其是最后一个,你使用方法链接。然而,由于经常需要对不同的列应用不同的聚合函数,因此也可以使用pd.concat来解析结果数据帧。这可能比subsquent chainingnice解决方案更容易阅读,但是对于[5]中的:counts\u df=pd.DataFrame(df.groupby('col1').size().rename('counts'))
,如果您想要操作数据帧进行进一步分析,可能最好将size()设置为一个新列,这应该是counts\u df=pd.DataFrame(df.groupby('col1')).size().reset_index(name='counts')
感谢“包含结果以获取更多统计信息”位!由于我的下一次搜索是关于将结果列上的多索引展平,因此我将在此处链接到答案:太好了!您能给我一个提示,如何将isnull
添加到此查询中,使其也包含在一列中吗?'col4':['median','min','count','isnull']
如何广播计数?(使用groupby(…)时,我无法使transform
起作用。只要