在互联网产品的迭代优化中，AB测试已经成为决策的黄金标准。但很多团队在实施过程中常常遇到一个棘手问题：明明测试结果显示实验组优于对照组，上线后却毫无效果。这背后往往隐藏着样本量不足或置信度计算不当的统计陷阱。

为什么样本量如此重要？

1. 统计功效不足：当样本量太小时，即使存在真实差异，也可能无法检测到（假阴性）。就像用网眼过大的渔网捕鱼，小鱼都会漏掉

2. 假阳性风险：小样本容易产生偶然性显著结果，就像连续抛硬币5次都是正面，并不代表硬币有问题

3. 资源浪费：过早结束测试可能导致错误决策，我曾见过一个团队因为前100个样本显示10%提升就匆忙上线，最终发现是统计噪声

核心概念三剑客

• 显著性水平（α）：一般取0.05，表示有5%概率误判差异存在（假阳性）
• 统计功效（1-β）：通常设为80%，意味着有80%概率检测到真实存在的差异
• 效应量：预期的最小可检测变化，比如转化率从2%提升到2.5%（相对提升25%）

Python实战模板

import numpy as np
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

def calculate_sample_size(base_rate, mde, power=0.8, alpha=0.05):
    """
    计算每组所需样本量
    :param base_rate: 基线转化率（如0.02表示2%）
    :param mde: 最小可检测效应（如0.25表示25%相对提升）
    :param power: 统计功效（默认0.8）
    :param alpha: 显著性水平（默认0.05）
    :return: 每组需要的样本量
    """
    effect_size = proportion_effectsize(base_rate, base_rate*(1+mde))
    sample_size = tt_ind_solve_power(
        effect_size=effect_size,
        power=power,
        alpha=alpha,
        ratio=1.0
    )
    return int(np.ceil(sample_size))

# 示例：基线转化率2%，想检测25%的相对提升
print(calculate_sample_size(0.02, 0.25))  # 输出每组需要约6203个样本

五个常见陷阱与解法

1. 陷阱一：忽视多重检验
2. 问题：同时测试多个指标时，假阳性率会指数上升

3. 解法：使用Bonferroni校正，将α水平除以检验次数

4. 陷阱二：误解p值

5. 问题：p=0.04不代表有96%的概率方案更好

6. 解法：结合置信区间一起看，比如[1.2%, 4.8%]的提升区间

7. 陷阱三：过早停止测试

8. 问题：看到暂时显著就终止，可能抓到的是随机波动

9. 解法：预计算样本量，不到样本量不轻易下结论

10. 陷阱四：忽略季节性影响

11. 问题：工作日的转化率天然高于周末

12. 解法：确保测试周期覆盖完整业务周期

13. 陷阱五：样本比例失衡

14. 问题：对照组90%流量，实验组10%流量
15. 解法：保持分组均衡，或使用分层抽样

小流量场景的优化策略

当产品日活不足时，传统AB测试可能需要几周才能收集足够样本。这时可以考虑：

1. 序贯检验：设定多个检查点，当累积证据足够强时可提前终止
2. 贝叶斯方法：持续更新概率估计，而不是非黑即白的显著性判断
3. CUPED技术：利用历史数据减少方差，所需样本量可减少30%-50%

最后留给大家一个思考题：当你的对照组和实验组基线转化率差异较大时（比如由于渠道来源不同），样本量计算应该如何调整？欢迎在评论区分享你的实战经验。