以后文章更新会先在微信公众号(公众号名:输出ING),欢迎大家来关注。

一、实验效果不显著怎么办

为了使A/B实验得到统计显著的结果,有三个思路:

  • 上线对指标影响较大的策略,然而多数情况下这种策略可遇而不可求;
  • 增加实验的样本量,应该是普遍用的最多的,可通过提高实验流量配比或者让实验持续更长时间来实现;
  • 缩减指标的方差,根据前面样本量计算显著性检验介绍的公式可以知道,指标方差越小,所需样本量越小,也越容易统计显著;

微软2013年发表过一篇论文(本文阅读原文点击可直达该论文pdf),介绍了一种利用实验前的数据来缩减指标方差,进而提高实验灵敏度的方法,这种方法就是本文要介绍的CUPED(Controlled-experiment Using Pre-Experiment Data)。

Read More →