Pandas Groupby操作的25个示例
1. Groupby的基本原理2. agg聚合操作3. transform4. apply5. 25个代码示例1. 单列聚合2. 多列聚合3. 多方式聚合4. 对聚合结果进行命名5. 多个聚合和多个函数6. 不同列的聚合进行命名7. as_index参数8. 用于分组的多列9. 排序输出10. 最大的Top N11. 最小的Top N12. 第n个值13. 第n个值，倒排序14. 唯一值15. 唯一值的数量16. Lambda表达式17. apply函数18. dropna19. 求组的个数20. 获得一个特定分组21. rank函数22. 累计操作23. expanding函数24. 累积平均25. 展开后的最大值
参考资料
在日常的数据分析中，经常需要将数据根据某个（多个）字段划分为不同的群体（group）进行分析，如电商领域将全国的总销售额根据省份进行划分，分析各省销售额的变化情况，社交领域将用户根据画像（性别、年龄）进行细分，研究用户的使用情况和偏好等。在Pandas中，上述的数据处理操作主要运用groupby完成，本文就介绍一下
groupby的基本原理及对应的
agg、
transform和
apply等操作，总共包含25个代码示例。
首先，模拟生成10个样本数据：
import pandas as pd
import numpy as np
company=["A","B","C"]
data=pd.DataFrame({
"company":[company[x] for x in np.random.randint(0,len(company),10)],
"salary":np.random.randint(5,50,10),
"age":np.random.randint(15,50,10)
}
)
1. Groupby的基本原理
在pandas中，实现分组操作的代码很简单，仅需一行代码，在这里，将上面的数据集按照company字段进行划分： 这个生成的DataFrameGroupBy是啥呢？对data进行了groupby后发生了什么？ipython所返回的结果是其内存地址，并不利于直观地理解，为了看看group内部究竟是什么，这里把group转换成list的形式来看一看： 转换成列表的形式后，可以看到，列表由三个元组组成，每个元组中，第一个元素是组别（这里是按照company进行分组，所以最后分为了A,B,C），第二个元素的是对应组别下的DataFrame，整个过程可以图解如下：
总结来说，groupby的过程就是将原有的DataFrame按照groupby的字段（这里是company），划分为若干个分组DataFrame，被分为多少个组就有多少个分组DataFrame。所以说，在groupby之后的一系列操作（如agg、apply等），均是基于子DataFrame的操作。理解了这点，也就基本摸清了Pandas中groupby操作的主要原理。
2. agg聚合操作
聚合操作是groupby操作之后非常常见的操作。聚合操作可以用来求和、均值、最大值、最小值等，下面的表格列出了Pandas中常见的聚合操作。 针对样例数据集，如果想求不同公司员工的平均年龄和平均薪水，可以按照下方的代码进行： 如果想对针对不同的列求不同的值，比如要计算不同公司员工的平均年龄以及薪水的中位数，可以利用字典进行聚合操作的指定： agg聚合过程可以图解如下（第二个例子为例）：
3. transform
transform是一种什么数据操作？和agg有什么区别呢？为了更好地理解transform和agg的不同，下面从实际的应用场景出发进行对比。
在上面的agg中，我们知道了如何求不同公司员工的平均薪水，如果现在需要在原数据集中新增一列avg_salary，代表员工所在的公司的平均薪水（相同公司的员工具有一样的平均薪水），该怎么实现呢？如果按照正常的步骤来计算，需要先求得不同公司的平均薪水，然后按照员工和公司的对应关系填充到对应的位置，不用transform的话，实现代码如下： 如果使用transform的话，仅需要一行代码： 还是以图解的方式来看看进行groupby后transform的实现过程（为了更直观展示，图中加入了company列，实际按照上面的代码只有salary列）： 图中的大方框是transform和agg所不一样的地方，对agg而言，会计算得到A，B，C公司对应的均值并直接返回，但对transform而言，则会对每一条数据求得相应的结果，同一组内的样本会有相同的值，组内求完均值后会按照原索引的顺序返回结果，如果有不理解的可以拿这张图和agg那张对比一下。
4. apply
apply应该是大家的老朋友了，它相比agg和transform而言更加灵活，能够传入任意自定义的函数，实现复杂的数据操作。那么问题来了，在groupby后使用apply和groupby之前使用有什么区别呢？
区别是有的，但是整个实现原理是基本一致的。两者的区别在于，对于groupby后的apply，以分组后的子DataFrame作为参数传入指定函数的，基本操作单位是DataFrame，而之前介绍的apply的基本操作单位是Series。还是以一个案例来介绍groupby后的apply用法。
假设现在需要获取各个公司年龄最大的员工的数据，该怎么实现呢？可以用以下代码实现： 这样便得到了每个公司年龄最大的员工的数据，整个流程图解如下： 最后，关于apply的使用，这里有个小建议，虽然说apply拥有更大的灵活性，但apply的运行效率会比agg和transform更慢。所以，groupby之后能用agg和transform解决的问题还是优先使用这两个方法，实在解决不了了才考虑使用apply进行操作。
5. 25个代码示例
1. 单列聚合
计算出每个company的平均salary：
2. 多列聚合
在一个操作中进行多个聚合。下面是计算每个company的平均薪资和年龄： 注意，这里使用的是双方括号“[[]]”。
3. 多方式聚合
使用agg函数来计算多个聚合值：
4. 对聚合结果进行命名
可以对聚合的结果进行命名：
5. 多个聚合和多个函数
6. 不同列的聚合进行命名
7. as_index参数
如果groupby操作的输出是DataFrame，可以使用as_index参数使它们成为DataFrame中的一列。
8. 用于分组的多列
就像可以聚合多个列一样，也可以使用多个列进行分组。
sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).head()
9. 排序输出
可以使用sort_values函数根据聚合列对输出进行排序.
sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).sort_values(by='avg_sales', ascending=False).head()
10. 最大的Top N
max函数返回每个组的最大值。如果需要n个最大的值，可以用下面的方法：
11. 最小的Top N
与最大值相似，也可以求最小值
12. 第n个值
还可以找到一组中的第n个值，例如，找到每个company中年龄第2的薪水：
13. 第n个值，倒排序
也可以用负的第n项。例如，" nth(-2) "返回从末尾开始的第二行。
14. 唯一值
unique函数可用于查找每组中唯一的值。例如，可以找到每个company中唯一的年龄，代码如下:
15. 唯一值的数量
可以使用nunique函数找到每组中唯一值的数量:
16. Lambda表达式
可以在agg函数中使用lambda表达式作为自定义聚合操作。
17. apply函数
使用apply函数将Lambda表达式应用到每个组，如下所示:
18. dropna
缺省情况下，groupby函数忽略缺失值。如果用于分组的列中缺少一个值，那么它将不包含在任何组中，也不会单独显示。所以可以使用dropna参数来改变这个行为。
首先添加一个缺少存储值的新行: 然后计算带有dropna参数和不带有dropna参数的每个company的平均age，以查看差异。
19. 求组的个数
有时需要知道生成了多少组，这可以使用ngroups：
20. 获得一个特定分组
get_group函数可获取特定组并且返回DataFrame。
21. rank函数
rank函数用于根据给定列中的值为行分配秩。可以使用rank和groupby函数分别对每个组中的行进行排序。
22. 累计操作
可以计算出每组的累计总和: 先创建一个示例dataframe: 然后单独创建一个列，包含值列的累计总和，如下所示：
23. expanding函数
expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来对其操作。例如它与cumsum 函数一起使用，结果将与与sum函数相同。
24. 累积平均
利用展开函数和均值函数计算累积平均：
25. 展开后的最大值
可以使用expand和max函数记录组当前最大值： 在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。
参考资料
超好用的Groupby用法详解25个例子学会Pandas Groupby 操作数据处理三板斧——map、apply、applymap详解
好文阅读
您阅读本篇文章共花了：
发表评论