以后文章更新会先在微信公众号（公众号名：输出ING），欢迎大家来关注。
一、实验效果不显著怎么办
为了使A/B实验得到统计显著的结果，有三个思路：
- 上线对指标影响较大的策略，然而多数情况下这种策略可遇而不可求；
- 增加实验的样本量，应该是普遍用的最多的，可通过提高实验流量配比或者让实验持续更长时间来实现；
- 缩减指标的方差，根据前面样本量计算和显著性检验介绍的公式可以知道，指标方差越小，所需样本量越小，也越容易统计显著；
微软2013年发表过一篇论文（本文阅读原文点击可直达该论文pdf），介绍了一种利用实验前的数据来缩减指标方差，进而提高实验灵敏度的方法，这种方法就是本文要介绍的CUPED（Controlled-experiment Using Pre-Experiment Data）。