话说天下大势，分久必合，合久必分。数据分析也是如此，我们经常要对数据进行分组与聚合，以对不同组的数据进行深入解读。本章将介绍如何利用Pandas中的GroupBy操作函数来完成数据的分组、聚合以及统计。

一、分组、应用和聚合

“分而治之”（Divide and Conquer）方法（又称为“分治术”），是有效算法设计中普遍采用的一种技术。所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的解，把各部分的解组成整个问题的解。这种朴素的思想来源于人们生活与工作的经验，也完全适用于技术领域。以海量数据处理为例，由于数据量太大，导致无法在较短时间内迅速解决，或无法一次性装入内存。那么如何解决该问题呢？无非只有一个办法——大而化小。规模太大，就把规模大的化为规模小的，各个击破。例如，从海量日志数据中提取出某日访问次数最多的那个IP，把整个大文件映射为1000个小文件，再找出每个小文件中出现频率最高的IP及相应的频率，然后从这1000个最大的IP中，找出那个频率最高的IP，即为所求。这也是大数据编程模型MapReduce的基本思想。

Pandas中同样存在着“分而治之”的思想，即Pandas的GroupBy，从英文的字面意义上理解就是“根据（By）一定的规则进行分组（Group）”。它的作用就是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。简单地说，GroupBy就是Split-Apply-Combine，如图1所示。首先将数据按照不同的key进行分割（Split），然后将求和函数sum（）应用（Apply）于各组，最后再将数据合并（Combine）到一起，得到最终结果。

图1　Split-Apply-Combine

二、Pandas中的GroupBy操作

本节主要以Seaborn中自带的tips数据集为例对GroupBy进行讲解。数据前5行内容如下。

2.1单列数据分组统计

以tips数据集为例，如果想按照不同性别来对数据进行统计，应该怎么办呢？首先我们需要创建一个DataFrameGroupBy对象，代码如下。

此时我们得到的只是一个DataFrameGroupBy对象，也就是只完成了图1中的Split工作，接下来要做的是Apply和Combine。例如，我们想知道tips分组里面男性（Male）和女性（Female）各有多少，代码如下。

size（）即是DataFrameGroupBy对象提供的一个分组聚合函数，该函数将自动统计Male组和Female组中的数据大小，之后将其汇总到一个新的Series中，可以通过如下代码进行验证。

上面的第二段代码对分组对象中的组依次进行了遍历。除了对组进行遍历，我们还可以通过get_group（）函数来获取指定组，例如：

在完成分组后，我们就可以针对各组进行聚合运算。例如，我们想看tips数据集中男性、女性买单时总账单、小费以及用餐人数的均值，那么可以采用如下代码。

上述代码对分组中每列都进行聚合运算，有的时候我们只需要对某一列进行聚合运算。例如，我们只想统计男性组与女性组的总账单均值，可以采用如下代码。

DataFrameGroupBy对象除了提供了前面已经用过的聚合函数外，还提供了如下的聚合函数。

·　sum（）：求和

·　mean（）：求平均值

·　count（）：统计所有非空值

·　size（）：统计所有值

·　max（）：求最大值

·　min（）：求最小值

·　std（）：计算标准差

这里重点讲一下size（）和count（）的区别。有如下数据：

如果分别使用size（）和count（）这两个聚合函数，得到的结果将不同。

得到不同结果的原因是由于count（）函数不会统计空值，而size（）函数只是统计组的大小，不管取值是否为空。除了直接对分组对象使用聚合函数来完成分组统计，我们还可以使用agg（）或aggregate（）函数来进行分组统计，例如下面的代码与使用mean（）函数效果完全一样。

既然两者效果一样，为什么Pandas中要提供agg（）函数呢？这是因为agg（）函数提供了更好的灵活性，我们如果想同时统计各分组的小费均值、最小值、最大值，只需要执行一次agg（）函数就可以完成，代码如下。

其中，agg（）函数中的参数['mean'，'min'，'max']即是聚合函数列表。此外，我们还可以对聚合后的列进行重命名，例如：

与前一段代码不同的是，这里以元组的方式来指定聚合函数。例如，（'tip_mean'，'mean'）代表了我们要执行的聚合函数为mean，聚合运算后得到的列名为tip_mean。如果完成聚合后，想将Index去掉，那么可以直接使用reset_index（）函数，代码如下。

2.2多列数据分组统计

上一小节是将sex列作为分组基准，如果想同时基于sex列和day列进行分组统计男女每天的消费，可采用如下代码。

上述两段代码分别统计了tips数据集中男性与女性每天总就餐次数以及账单总额。与2.1节类似，我们也可以利用如下代码对聚合后的列进行重命名，如图2所示。

图2　重命名结果

Pandas的分组统计还提供了更加灵活的方式，对于分组后的对象，我们还可以针对不同的列进行不同聚合运算。例如针对tip列和total_bill列，我们想统计不同的内容，那么可以采用如下代码。

统计结果如图3所示。

图3　统计结果

输出数据出现了多级Index，可以用如下代码验证。

其中，第一级Index为tip和total_bill，第二级则是avg_tip、max_tip、avg_bill。如果我们想对其进行修改，可以直接利用修改列名的方式来完成，代码如下。

2.3使用自定义函数进行分组统计

如果Pandas中提供的聚合函数不能满足我们的要求，我们还可以自己编写自定义函数来完成聚合功能。例如，我们想统计男性组与女性组中账单最大值和最小值的差异，可以利用如下代码完成。

上述代码定义了一个lambda函数来完成各组中账单最大值与最小值差的计算。除了对某列进行聚合运算，还可以对不同列定义不同的自定义函数，示例如下。

lambda函数通常用于相对简单的函数定义，如果是复杂一点的，我们可以自己定义新函数后使用。如下代码定义了一个名为max_deviation（）的函数。

上述代码中max_deviation（）函数的参数s实际对应于分组对象的tip列，因此s.mean（）是对该列求平均。在有的情况下，自定义函数还可以带参数，如果我们想知道男性和女性组总账单中金额为30～60的比例，可以采用如下代码。

上述代码中bill_between（）函数中的参数，直接通过agg（bill_between，30，60）函数传入。

2.4数据过滤与变换

有的时候我们对数据进行分组不是为了分组统计，而是为了对数据进行过滤或变换，此时可以使用filter（）和transform（）函数来完成。例如，我们想知道tips数据集中每天消费总额大于20的账单，代码如下。

数据过滤结果如图4所示。

图4　数据过滤

上述代码首先对数据按day进行分组，x['total_bill'].mean（）20将过滤消费总额大于20的数据。如果我们需要对分组数据进行变换，则使用transform（）函数。例如，如下代码对按day分组的数据求均值后，将其作为新列添加回原来的df_tips中，结果如图5所示。

图7.5　数据变换

除了filter（）和transform（）操作，我们也可以对组对象执行apply操作。例如，我们可以按性别分组后计算小费占总账单的比例，代码如下。