以后文章更新会先在微信公众号（公众号名：输出ING），欢迎大家来关注。
前面我们已经介绍了在开始一个A/B实验之前，计算实验所需样本量的方法。这篇文章Jeff 将介绍下，实验做完后，如何判断实验结果是否显著。
判断实验结果是否显著，一般来说有两种方法，一种是根据经验，你了解实验所关注指标一般的波动范围，而实验组该指标明显超出了一般波动范围，因而你判断实验得到了显著的结果。
显而易见，根据经验判断不够严谨，所以Jeff推荐使用第二种方法，即通过统计学的公式计算p 值是否小于设定的显著性水平α，从而判断实验结果是否显著的方法。
类似前面计算实验所需样本量，本文也仅讨论比例类指标A/B实验结果显著性判断问题，如果是均值类指标的A/B实验结果显著性判断不在本文讨论的范畴。
p 值计算的公式
要计算p值，我们需要先计算Z分数，可以使用统计学里两总体比例假设检验的Z分数计算公式，公式如下：
而p值和Z分数是可以相互推导的，得到检验统计量Z分数的值，p值就可以通过查统计教材对照表或者用已有工具内置的函数计算（可参考下面Excel部分的计算）。
Read More →