这一讲的主题是通过数据复盘衡量你的运营策略。在产品运营中，我们会遇到各种需要评估运营效果的场景，包括促活的活动是否起到作用、A/B 测试的策略有无成效等等。具体例如，产品升级前的平均 DAU 是 155 万，产品升级后的平均 DAU 是 157 万，那么如何判断 DAU 提升的 2 万是正常的波动，还是升级带来的效果呢？
需要专栏原数据进行实操的同学，可到“拉勾教育”公众号回复“数据化”，即可在百度云盘中获取本专栏的 21 组数据源。
上面这些场景看似不同，实则都是在对比不同分组数据间的数据变化，或是对比同一组数据在实施某些策略前后的数据变化，及其变化背后的原因。也就说，判断数据波动是否是某一因素（活动/策略）导致的，便是方差分析。
“方差分析”是个专业统计学理论，但它并不隐晦，我来通俗解释一下其背后的含义。我们把分组叫作样本，把变化叫作差异，差异的大小程度叫作显著性。
所以对比不同分组数据间的数据变化，我们就叫作分析不同样本间的差异显著性； 对比同一组数据在实施某些策略前后的数据变化，我们叫作分析同一样本在策略前后的差异显著性。
而分析以上差异显著性是否明显的方法，就叫作方差分析。
好了，现在你已经大致知道方差分析的含义了，那么它是如何被引入到我们的业务应用中的呢？其原理、特性又是什么呢？下面我将摒弃一切隐晦理论，用“白话”方式，带你理解“方差分析”在业务中的应用。
白话理解“方差分析”的来龙去脉
故事的主人公叫费希尔，为了能够从事自己喜欢的用户运营工作，他在前段时间申请转岗，从帝都北京的团队来到羊城广州的团队，开始了他的用户运营工作。广州团队的用户运营工作重点之一，就是彻底搞清楚在优惠金额对用户的购买转化率是否能起到有效作用。
费希尔的做法很常见，抽取了过去半年产品上投放的所有促销活动，并把活动中的优惠金额分成了以下三个组，最后按照不同区间分组去分别计算用户的购买率。
费希尔非常清楚，用户行为是随机的，不管有没有促销活动，用户的购买转化率本身就会发生一定的波动，可能某天某组的某个用户心情大好，或者发了年终奖了就会在产品上剁手。
而这些随机因素都与优惠金额无关，所以我们不能说某组的转化率高，是这个区间的优惠金额效果好导致的。
那么应该如何正确认识用户数量与购买率之间的关系呢？这就需要用到正态分布图了。
1.认识正态分布图
正如刚刚所言，用户购买行为是随机的，购买率很高的不会很多，只要来产品就会下单的用户不会很多，毕竟没有人这么有闲钱天天剁手；购买率极低的也不会很多，天天活跃但就是不下单的也是极少数。
所以绝大部分用户的购买率都集中在某个值附近，这个值我们叫作整体购买率的平均值。如果每个客群分组自身的购买率均值与这个整体购买率平均值不一致，就会出现以下两种情况。
第一种情况
如下图所示，蓝色分组的购买率平均值（蓝色线）比整体平均值（黑色线）要高，有可能是最右边那个很高的购买率把分组的均值抬升的，同时蓝色分组的数据分布很散（方差大），此时不能有十足把握说明该组用户的购买转化率很高。
第二种情况
如下图所示，绿色分组的购买率平均值（绿色线）比整体平均值（黑色线）要高，但是绿色分组的数据非常集中，都集中在分组的平均值（绿色线）附近，此时我们可以认为该组的转化率平均值与整体有明显区别。
为了更好表述上面的问题，费希尔定义了“组内方差”的概念，即描述每个分组内部数据分布的离散情况。如下图所示，对于上面蓝色和绿色分组的“组内方差”，显然蓝色的组内方差更大，绿色的组内方差更小。
所以，如果上面三个分组的用户购买率平均值不在中线（整体购买率）左右，而是有明显的偏高或偏低，并且该组内的每个转化率都紧紧围绕在该组购买率平均值的附近（即组内方差很小）。那么我们就可以断定：该组的购买率与整体不一致，是该组对应优惠金额的影响造成的。
2.方差分析之定性、定量分析
你可以将正态分布图理解为我们分析业务的工具，所以接下来费希尔便将上表中三个组的转化率放进了这个图中，尝试通过分析工具在转化率数据中得到结论。
定性分析
然后他发现，这三组的购买率数据的分布都很相似，即虽然各组的均值不尽相同，但各组的数据分布的都比较散（方差大），总有很大或很小的购买率来提升或降低了组内的平均值，所以不能仅从各组的购买率均值本身来断言该组的购买率与众不同。
所以，费希尔认为这三组数据并无区别，用户的购买率与优惠金额之间没有明显的关系，当然这是一个定性的分析过程。
定量分析
但是要定量分析怎么办呢？费希尔创造了 F 检验值和 F crit 临界值这两个指标。F 检验值用来精确表达这几组差异大小的，F crit临界值是一个判断基线：
当 F > F crit，这几组之间的差异超过判断基准了，认为不同优惠金额的分组间的购买率是不一样的，优惠金额这个因素会对购买率产生影响，也就是说通过运营优惠金额这个抓手，是可以提升用户购买转化率的； 反之，当 F < F crit，则认为不同优惠金额的分组间的购买率是一样的，优惠金额这个因素不会对购买率产生影响，也就是说需要继续寻找其他与购买转化率有关的抓手。
上图是我们用 Excel 得出的 A、B、C 三组的方差分析结果，如图所示 F (1.5555556) < F crit (3.8852938)，所以从定量分析角度，我们也能判定优惠金额不会对购买率产生影响。
这个 Excel 的方差分析图，向我们展示了各项指标数据。对于日常工作，你只需要关注 F 与 F crit。至于 SS（方差）、df（指标自由度）、MS（均方差）、P-value（差异的显著性水平）等，有兴趣的同学可以查阅统计学的资料进行深入了解。
上面这个分析过程，就是方差分析。我们现在给方差分析一个准确定义，方差分析也叫 Analysis of Variance，简称 ANOVA，也叫“F 检验”，用于两个及两个以上分组样本的差异性检验。
故事里面的费希尔也确有其人，罗纳德 · 费希尔（1890~1962），英国著名的统计学家和遗传学家，是现代统计学的奠基人和大师，创造了方差分析、极大似然估计等深刻影响统计学发展的贡献。
方差分析标准路径
现在，我们将上面故事的来龙去脉整理一下，梳理成一个可以套用的标准方法，我将其分为三步。
第一步，判断样本是否满足“方差分析”的前提条件
方差分析有以下三个前提条件。
1.第一个条件：每个分组中的每个值都必须来自同一个总体样本
上面故事中的三个分组的用户（即样本），都来自这个产品的注册用户（即总体），所以是同一个总体，可以用方差分析来分析他们之间的购买率差别。
比如，同一家店铺中男性顾客和女性顾客（即样本），都来自这个店铺的成交客户（即总体），所以是同一个总体，可以用方差分析来分析不同性别客单价的差异；但如果想分析这个店铺中口红品类的用户购买率和其他店铺口红品类的用户购买率的差异，就不能用方差分析，因为这两个用户群体不是来自同一个总体。
所以，判断样本是不是都来自同一个总体，其实就是看这些样本是不是同一个功能的用户、是不是同一种类型的用户、是不是同一个业务流程的用户。
例如以下就是来自同一总体的用户：
高留存的注册用户和低留存的注册用户； DAU 里面的新增用户和唤醒用户； 从同一个入口进来的成功购买用户和流失用户。
而以下这些就不是来自同一总体的用户，不能用方差分析来分析他们之间是否有差异：
产品的注册用户和游客，因为不是同一类型用户； 沉默用户和活跃用户，因为不是同一类型用户； 使用过功能 A 和未使用功能 A 的用户，因为不是同一功能的用户； 从活动落地页进来然后完成购买的用户，和从首页 Banner 进来完成购买的用户，因为不是同一业务流程的用户。
2.第二个条件：方差分析只能分析满足正态分布的指标
上面聊了方差分析可以分析的用户群体，下面讲一下可以分析这些群体的指标类型：只能分析满足正态分布的指标。
什么是正态分布？形象化的理解就是指标的所有值，太高的不多，太少的不多，绝大多数集中在某个区间，例如上面故事的购买转化率。
在产品运营中大部分指标都是正态分布。
几乎所有的转化率都满足正态分布：购买率、点击率、转化率、活跃率、留存率、复购率等。 几乎所有的业务量都满足正态分布：客单价、每日新增用户数、渠道引流的流量等。 几乎所有的用户画像指标都满足正态分布：年龄、城市、登录次数、使用时长等。
但是，以下这些就不是正态分布的指标，不能用方差分析。
注册用户中男性和女性的数量，它们并不会集中在某个区间，所以不能用方差分析去分析不同客群的男性数量和女性数量的差异；但男女的比例是正态分布的指标，根据产品客群不同始终集中在某个占比区间。 不同客群的累计消费金额，不是正态分布指标，因为累计类指标只会增长，并不会集中在某个区间；但是每日消费金额是正态分布的指标，因为每日的消费金额虽然有波动，但产品的客群是稳定的，消费金额也是集中在某个区间。
3.第三个条件：分析的样本必须是随机抽样
这句话很好理解，上面故事中的每个用户的购买率就是随机抽样来的，为了避免样本过于集中某个值。最简单的随机抽样就是均匀抽样，例如 10 万用户，我就按照顺序，每隔 5000 人抽一个出来，就能随机抽样出来 20 人。
第二步，计算 F 检验值和 F crit 临界值
数据计算非常复杂，但是我们可以用 Excel 快速操作，只需点一下鼠标即可计算出 F 检验值和 F crit 值。
具体操作方法我在下面的案例中演示。
需要我们掌握的是通过 F 检验值和 F crit 临界值来判断各个分组是否有差异：
若 F > F crit，则各个分组的指标值有显著差异； 若 F < F crit，则各个分组的指标值无显著差异；
这也是我们刚刚讲过的内容。
第三步，如果有差异，需要评估差异大小
当 F > F crit，则各个分组的指标值有差异，但是差异有多大呢？
我们用一个新的指标来表示：R2=SSA/SST，其中 R2 表示差异大小，SSA 是组间误差平方和，SST 是总误差平方和。
R2 我同样在下面的案例中演示快速计算，至于如何 SSA 和 SST 的原理不在本专栏深究，有兴趣的同学翻阅统计学的资料即可了解。
需要我们理解的是，可以把 R2 看成前面课程讲到的相关系数，所以可以用相关系数的判断标准来给出差异的大小：
当 R2>0.5，认为各个分组间的差异非常显著； 当 R2 在 [0.1,0.5] 之间时，认为各个分组间的差异一般显著； 当 R2<0.1 时，认为各个分组间的差异微弱显著。
讲完了“方差分析”的来龙去脉和标准路径，我们案例实战一下。
方差分析案例实战
1.产品升级前后，使用时长有了一定提升，可以说升级有效果吗？
现在产品做了升级，把升级前后的日均使用时长抓了出来，我们发现升级后的平均使用时长为 1分 34 秒，升级前为 1 分 26 秒。产品经理自然心中犯难：升级后使用时长提升了不到 10 秒钟，能说产品升级有效果吗？如下图所示。
我们按照刚刚讲的“方差分析标准路径”中的三步来逐一进行。
（1）判断样本是否满足“方差分析”的前提条件
显然，使用时长来自同一群用户，就是产品的使用用户，是同一总体，并且使用时长满足正态分布，所以要分析升级前和升级后有无效果，就是分析升级前的使用时长和升级后的使用时长是否有差异，也就是可以用方差分析来判断。
（2）计算 F 检验值和 F crit 临界值
在 Excel 中点击“数据”选项卡，然后点击“数据分析”，选择“方差分析 - 单因素方差分析”；然后选中数据区域，其他默认即可，点击“确定”即可完成方差分析，如下图所示：
如图所示，F 检验值是 5.97，F crit 临界值是 4.1959，所以 F > F crit，所以这两组数据有差异，也就是说升级后使用时长的提升是有效的。
（3）评估差异大小
效果有多好呢？我们再计算 R2 值，图中已给出 R2 的计算公式，结果是 0.1757，属于一般显著。
到这里我们可以给出结论了：此次产品升级对使用时长是有效果的，平均使用时长提升了 8 秒，但提升效果一般。
2.最近做了一次活动，活动后的 DAU 有所提升，可以说活动有效果吗？
为了提升 DAU，我们做了一个促活的活动，把活动前后的 DAU 抽样 15 天的数据来对比，发现活动后 DAU 均值是 55567，比活动前的 DAU 均值 54198 有所提升，可以说活动有效果吗？如下图所示：
显然，我们不能单纯地看 DAU 均值提升就认为有效果，也有可能是正常的波动，所以我们需要准确对比这两个分组间的差异。
我们按照刚刚讲的“方差分析标准路径”中的三步来逐一进行。
（1）判断样本是否满足“方差分析”的前提条件
因为两组的 DAU 都来自产品的 DAU，所以认为是来自同一总体，同时 DAU 满足正态分布，所以可以用方差分析来进行分析。
（2）计算 F 检验值和 F crit 临界值
如图所示，因为 F(0.022) < F crit(4.1959)，所以这两组数据无差异，也就是说这两组 DAU 没有任何区别，均值的变化是正常波动，促活活动并没有带来效果，所以不需要进行第三步，不需要评估差异大小。
上面的案例都是针对一种策略来分析效果。我们把这种形式的方差分析叫作单因素方差分析，因为只评估一种策略在不同客群、或不同渠道、或不同场景中的效果。
下面我们看看一个更复杂的场景——多因素方差分析。
3.如何分析注册率是拉新活动带来的？还是渠道本身特性带来的？
渠道运营，涉及的渠道很多，同时在每个渠道上也会投放大量的运营活动，目的都是尽可能地将渠道的流量引导到产品上完成注册，才能进行后续更为深入的运营。假设我们是一个初创公司，你来负责渠道运营。
（1）渠道
刚开始我们对接渠道，由于资源有限，运营活动还是全渠道投放。如下图所示，想分析针对单一一个运营活动，各个渠道间的用户注册率是否有差别。
于是你拿到下图这张报表示。
如图所示，F(1.96) < F crit(3.55)，所以各个渠道的注册率没有差异。
面对这样的问题，你自然会说可能是拉新活动的没有做出差异化的原因，所以你把拉新活动精细化，拆为权益类活动、品牌类活动和通用类活动。通过这三类细分活动再次投放到各个渠道上，再次评估各个渠道的注册转化率。
（2）活动
于是，除了渠道，还有活动来影响注册率。
此时有两个因素来影响注册率，分别是渠道因素（有三组）和活动类型因素（有三组），所以我们用无重复双因素方差分析来做，结果如下：
如图所示，这里是两个因素，所以要从行和列分别去分析：
行的 F(8.46) > F crit(6.94)，所以注册率在不同行（不同活动）上差异显著，并且 R2 为 0.796，属于非常显著； 列的 F(0.16) < F crit(6.94)，所以注册率在不同列（不同渠道）上无差异。
所以，当我们给各个渠道投放多种类型的活动时，我们发现注册率和活动类型强关联。
（3）客群
把活动细分为三类只是精细化运营的开始，接下来你自然会想把这三类活动投放给每个渠道的不同客群，再看看对注册率的影响。
于是，除了渠道和活动，还增加了渠道中的客群（这里仅按照性别这个维度来分析）。此时每种类型的活动又针对男性客群和女性客群分别进行了投放，我们把这种情况叫作有重复因素。
有重复因素，即每个因素（活动类型）中都有两个重复值（男性和女性）。
在 Excel 中选择“方差分析 - 可重复双因素方差分析”，于是你看到下图这张报表：
样本是每个行中的男性客群和女性客群； 列是渠道； 交互是男性客群或女性客群，是否与渠道一起共同对注册率产生了影响。
从结果中我们可以看到：
样本的 F(10.57) > F crit (4.25) ，所以不同性别的客群和注册率差异显著，再考察样本的 R2 为 0.64，为很强的显著关系； 列的 F(0.47) < F crit (4.25)，所以不同渠道的客群和注册率差异不显著； 交互的 F (0.49) > F crit (3.63)，所以不同性别的客群与渠道共同对注册率差异不显著。
此时我们可以下结论：不同渠道本身对注册率影响不大，可以排除渠道自身特征的影响；但是不同性别客群的拉新活动对注册率的影响非常大，后续可以针对渠道中的不同性别投入更多的拉新资源以提升注册率。
提醒：在本文的讲解过程中，对方差分析的原理和要求做了很多业务上的适应性的假设。而实际业务的情况非常复杂，你在使用方差分析前应查阅统计学的资料后，确认业务情况符合方差分析的几个条件才能使用。如果硬套方差分析的方法来分析只会产生严重误导和偏差。
小结
用了大几千字把方差分析的原理和过程系统地梳理了一遍。总体来看，方差分析的适用场景可以分为以下两类。
第一类：同一客群在实施某个策略前后的指标对比，以评估策略效果。 第二类：两个或多个客群对比同一指标，以评估不同客群在这个指标上的差异，以评估不同客群的指标运营效果。
这一讲的内容比较深奥、冗长，非常需要你静下心来认真思考，反复揣摩，理解其逻辑和本质意义，如果你已经看到了最后，恭喜你又进步一步～
运营评估后，下一城我们将对业务进行摸底。所以下一讲，我们将学习《 11 | 业务摸底：如何通过少量样本推断整体业务情况？》
针对业务摸底，我们又会放什么数据分析大招呢？敬请期待吧～
我是磊叔，下次课见~~~
精选评论
**恺：
干活满满啊，点赞。
**小编：
需要专栏原数据进行实操的同学，可到“拉勾教育”公众号回复“数据化”，即可在百度云盘中获取本专栏的 21 组数据源。
**林：
样本男女客群那里，在excel中操作，“每一样本的行数”，应该是样本有几个就填几，如本案例中说的是男女客群，那excel中就应该填2。要是老中少三类客群，应该填3。这部分磊哥好像没有提及到我补一下也不知道说的对不对~~
讲师回复：
对，没错，是这个意思
**生：
是否意味着只要涉及到效果评估就需要用方差分析？还是说只有我需要定量描述差异显著性时才需要？
**丹：
不得不说作为小白的我看到这里是觉得越来越难了
**昊：
不得不说，磊叔的课真是给力
讲师回复：
感谢认可
**春：
方差分析对样本量有要求吗（n30)?这种产品上线前后对比可以用T检验吗
讲师回复：
原则上，需要大样本，就是统计学上的30.但是互联网领域，几乎不太有样本数只有30个的情况，所以T检验用的也很少。
**水：
磊叔，我有个疑问，不同渠道的客群应该是不同客群了吧？能用方差分析吗？
讲师回复：
这要看你现在哪个角度来评估。如果现在产品的角度来看渠道，显然每个渠道的获客都是产品的目标用户，也就是说每个渠道需要获取的用户画像基本相同。但是由于渠道自身特性有差异，每个渠道为产品带来的用户自然也有一定差异，但在几万，几十万的用户量级下，个体的差异会被群体的一致性抹平，也就是说在较大的用户量级下，各个渠道的用户我们认为基本一致。
如果站在渠道角度单纯评估渠道，自然每个渠道的用户画像完全不一致，但是，脱离产品来考察渠道，又有什么意义呢？
*如：
有重复因子那个方法分析。列是渠道 方差分析后有一个结果。男女性别这个也有结果。为啥不做行的方差分析呢？ 难道不应该是三组分析么
讲师回复：
因为我演示的是Excel的方差分析，仅支持“双因素”，所以分析了两个。你说的是多因素方差分析，不仅要分析第三组，还要分析这三组的两两关系，Excel暂时没法快速实现，所以没有演示。
**霞：
老师，请教一个问题，咱们这节课讲的是利用方差分析不同群体或者组间的差异是否存在显著性。我想问另一个问题，方差分析如何用来进行每日异常值的监控和预警？举个例子，公司今天的收入比昨天提升了4%，我怎么判断今天4%是正常波动还是异常波动？我是否应该基于这个数据对业务部门发出波动预警？
讲师回复：
这个想复杂了……我在模块二的第一节课就讲了怎么用箱线图快速判断异常值哈
好文推荐
您阅读本篇文章共花了：
发表评论