使用熊猫GroupBy获取每个组的统计数据（例如计数、平均值等）？

我有一个数据帧df，我从它到groupby使用了几列：

df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

通过上述方式，我几乎得到了我需要的表（数据框）。缺少的是一个额外的列，其中包含每个组中的行数。换句话说，我有平均值，但我也想知道使用了多少数字来获得这些平均值。例如，在第一组中有8个值，在第二组中有10个等等。

简而言之：如何获取数据框的分组统计信息？

1497589 次浏览
小开
最佳答案

在groupby对象上，agg函数可以一次将列表带到使用多种聚合方法。这应该会给你所需的结果：

df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])
小开

快速解答：

获取每个组行数的最简单方法是调用.size()，它返回Series：

df.groupby(['col1','col2']).size()


通常你希望这个结果是DataFrame（而不是Series），所以你可以这样做：

df.groupby(['col1', 'col2']).size().reset_index(name='counts')


如果您想了解如何计算每个组的行数和其他统计信息，请继续阅读下面的内容。

详细示例：

考虑以下示例dataframe：

In [2]: df
Out[2]:
col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

首先让我们使用.size()来获取行数：

In [3]: df.groupby(['col1', 'col2']).size()
Out[3]:
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

然后让我们使用.size().reset_index(name='counts')来获取行数：

In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]:
col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1


包括更多统计结果

当您想计算分组数据的统计信息时，它通常如下所示：

In [5]: (df
...: .groupby(['col1', 'col2'])
...: .agg({
...:     'col3': ['mean', 'count'],
...:     'col4': ['median', 'min', 'count']
...: }))
Out[5]:
col4                  col3
median   min count      mean count
col1 col2
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

由于嵌套的列标签，以及行计数是以每列为基础的，因此上面的结果处理起来有点烦人。

为了更好地控制输出，我通常将统计数据拆分为单独的聚合，然后使用join组合。它看起来像这样：

In [6]: gb = df.groupby(['col1', 'col2'])
...: counts = gb.size().to_frame(name='counts')
...: (counts
...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
...:  .reset_index()
...: )
...:
Out[6]:
col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63


脚注

用于生成测试数据的代码如下所示：

In [1]: import numpy as np
...: import pandas as pd
...:
...: keys = np.array([
...:         ['A', 'B'],
...:         ['A', 'B'],
...:         ['A', 'B'],
...:         ['A', 'B'],
...:         ['C', 'D'],
...:         ['C', 'D'],
...:         ['C', 'D'],
...:         ['E', 'F'],
...:         ['E', 'F'],
...:         ['G', 'H']
...:         ])
...:
...: df = pd.DataFrame(
...:     np.hstack([keys,np.random.randn(10,4).round(2)]),
...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
...: )
...:
...: df[['col3', 'col4', 'col5', 'col6']] = \
...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
...:


免责声明：

如果你正在聚合的一些列有空值，那么你真的希望将组行计数视为每列的独立聚合。否则，你可能会被误导，不知道实际使用了多少记录来计算平均值，因为熊猫会在平均值计算中删除NaN条目而不告诉你。

小开

我们可以很容易地通过使用Groupby和count来实现。但是，我们应该记住使用reset_index（）。

df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()
小开

瑞士军刀：GroupBy.describe

每个组返回count、mean、std和其他有用的统计信息。

df.groupby(['A', 'B'])['C'].describe()


count  mean   std   min   25%   50%   75%   max
A   B
bar one      1.0  0.40   NaN  0.40  0.40  0.40  0.40  0.40
three    1.0  2.24   NaN  2.24  2.24  2.24  2.24  2.24
two      1.0 -0.98   NaN -0.98 -0.98 -0.98 -0.98 -0.98
foo one      2.0  1.36  0.58  0.95  1.15  1.36  1.56  1.76
three    1.0 -0.15   NaN -0.15 -0.15 -0.15 -0.15 -0.15
two      2.0  1.42  0.63  0.98  1.20  1.42  1.65  1.87

要获得具体的统计数据，只需选择它们，

df.groupby(['A', 'B'])['C'].describe()[['count', 'mean']]


count      mean
A   B
bar one      1.0  0.400157
three    1.0  2.240893
two      1.0 -0.977278
foo one      2.0  1.357070
three    1.0 -0.151357
two      2.0  1.423148

注意：如果你只需要计算1或2个统计数据，那么它可能是 使用groupby.agg更快，否则只需计算这些列 您正在执行浪费的计算。

describe适用于多个列（将['C']更改为['C', 'D']-或完全删除它-看看会发生什么，结果是一个多索引列数据帧）。

您还可以获得字符串数据的不同统计信息。这是一个例子，

df2 = df.assign(D=list('aaabbccc')).sample(n=100, replace=True)


with pd.option_context('precision', 2):
display(df2.groupby(['A', 'B'])
.describe(include='all')
.dropna(how='all', axis=1))


C                                                   D
count  mean       std   min   25%   50%   75%   max count unique top freq
A   B
bar one    14.0  0.40  5.76e-17  0.40  0.40  0.40  0.40  0.40    14      1   a   14
three  14.0  2.24  4.61e-16  2.24  2.24  2.24  2.24  2.24    14      1   b   14
two     9.0 -0.98  0.00e+00 -0.98 -0.98 -0.98 -0.98 -0.98     9      1   c    9
foo one    22.0  1.43  4.10e-01  0.95  0.95  1.76  1.76  1.76    22      2   a   13
three  15.0 -0.15  0.00e+00 -0.15 -0.15 -0.15 -0.15 -0.15    15      1   c   15
two    26.0  1.49  4.48e-01  0.98  0.98  1.87  1.87  1.87    26      2   b   15

有关详细信息，请参阅留档。

熊猫>=1.1：#E YZ 0

如果你只是想捕捉每个组的大小，这可以从熊猫1.1中获得，这减少了GroupBy并且更快。

df.value_counts(subset=['col1', 'col2'])

最小示例

# Setup
np.random.seed(0)
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
'foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three',
'two', 'two', 'one', 'three'],
'C' : np.random.randn(8),
'D' : np.random.randn(8)})


df.value_counts(['A', 'B'])


A    B
foo  two      2
one      2
three    1
bar  two      1
three    1
one      1
dtype: int64

其他统计分析工具

如果你没有找到上面要找的东西，用户指南有一个支持的静态分析、相关性和回归工具的全面列表。

小开

创建一个组对象并调用方法，如下例： 

grp = df.groupby(['col1',  'col2',  'col3'])


grp.max()
grp.mean()
grp.describe()
小开

要获取多个统计信息，请折叠索引并保留列名：

df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df

产品：

**在此处输入图片描述**

小开

请尝试此代码

new_column=df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).count()
df['count_it']=new_column
df

我认为该代码将添加一个名为“计数它”的列，每个组的计数

小开

如果你熟悉tidyverse R包，这里有一种在python中做到这一点的方法：

from datar.all import tibble, rnorm, f, group_by, summarise, mean, n, rep


df = tibble(
col1=rep(['A', 'B'], 5),
col2=rep(['C', 'D'], each=5),
col3=rnorm(10),
col4=rnorm(10)
)
df >> group_by(f.col1, f.col2) >> summarise(
count=n(),
col3_mean=mean(f.col3),
col4_mean=mean(f.col4)
)

  col1 col2  n  mean_col3  mean_col4
0    A    C  3  -0.516402   0.468454
1    A    D  2  -0.248848   0.979655
2    B    C  2   0.545518  -0.966536
3    B    D  3  -0.349836  -0.915293
[Groups: ['col1'] (n=2)]

我是datar软件包的作者。如果您对使用它有任何疑问，请随时提交问题。


提交答案