在AB测试中，样本量的估算直接决定了实验结果的可靠性。估算不足可能导致统计功效低（即难以检测到真实的效应），而估算过多则会延长实验周期，浪费资源。今天我们就来聊聊如何科学地估算样本量，让AB测试既高效又可靠。

背景痛点

做过AB测试的同学可能都遇到过这些问题：

• 实验跑了一周，结果不显著：可能是因为样本量不足，统计功效太低，导致即使存在真实差异也无法检测出来。
• 实验周期过长：盲目扩大样本量，虽然结果可靠，但拖慢了迭代速度。
• 效应量预估偏差：对预期提升幅度估计不准，导致样本量估算偏差。

这些问题本质上都是样本量估算不科学导致的。那么，如何科学估算样本量呢？

原理基础

样本量估算的核心是四个参数：

1. 效应量（Effect Size）：衡量实验组和对照组的差异大小，通常用Cohen's d表示，公式为： $$ d = \frac{\mu_1 - \mu_2}{\sigma} $$ 其中$\mu_1$和$\mu_2$是两组的均值，$\sigma$是标准差（假设两组方差相同）。

2. 显著性水平（α）：即第一类错误概率，通常设为0.05。

3. 统计功效（1 - β）：即第二类错误概率的补，通常设为0.8或0.9。

4. 样本比例：实验组和对照组的分配比例，通常为1:1。

样本量估算的目标是：在给定效应量、α和功效的条件下，计算每组需要的最小样本量。

技术实现

手动计算样本量需要查表或迭代求解，比较麻烦。推荐直接用Python的statsmodels库，几行代码就能搞定。

代码演示

import numpy as np
import statsmodels.stats.power as smp
import matplotlib.pyplot as plt

# 参数设置
effect_size = 0.2  # Cohen's d，小效应量
alpha = 0.05       # 显著性水平
power = 0.8        # 统计功效
ratio = 1          # 实验组:对照组 = 1:1

# 计算最小样本量
sample_size = smp.tt_ind_solve_power(
    effect_size=effect_size,
    alpha=alpha,
    power=power,
    ratio=ratio
)
print(f'每组需要的最小样本量：{np.ceil(sample_size).astype(int)}')

# 绘制功率分析曲线
effect_sizes = np.arange(0.1, 0.6, 0.05)
sample_sizes = [smp.tt_ind_solve_power(effect_size=es, alpha=alpha, power=power, ratio=ratio) 
                for es in effect_sizes]

plt.plot(effect_sizes, sample_sizes)
plt.xlabel('Effect Size (Cohen\'s d)')
plt.ylabel('Sample Size per Group')
plt.title('Power Analysis Curve')
plt.grid(True)
plt.show()

参数说明

• effect_size：预期效应量，通常根据历史数据或业务目标设定。
• alpha：显著性水平，默认0.05。
• power：统计功效，一般不低于0.8。
• ratio：实验组和对照组的样本比例。

避坑指南

1. 多重检验问题

如果同时测试多个指标，可能会增加假阳性的概率。解决方法：

• 使用Bonferroni校正：调整显著性水平，例如测试5个指标时，α设为0.01（即0.05/5）。
• 优先关注核心指标，避免过度测试。

2. 流量分配策略

• 如果总样本量有限，可以分阶段实验：先小流量验证，再逐步扩量。
• 确保实验组和对照组的流量分配均匀，避免偏差。

3. 效应量预估不准

• 保守估计：假设效应量较小，避免低估样本量。
• 参考历史数据：类似实验的效应量可以作为参考。
• 动态调整：根据中期结果修正样本量。

延伸思考

1. 如何优化效应量预估？

• 分析历史实验数据，总结典型效应量范围。
• 与业务方沟通，明确最小可检测效应（MDE）。

2. 序贯检验的适用场景

序贯检验（Sequential Testing）允许在实验过程中多次检查结果，提前终止实验。适用场景：

• 效应非常显著或完全不显著时，可以提前得出结论。
• 需要快速迭代的场景，但要注意多重检验问题。

总结

样本量估算是AB测试的关键步骤，直接影响实验的效率和可靠性。通过statsmodels可以快速计算最小样本量，但要特别注意效应量的预估和多重检验问题。希望这篇笔记能帮你避开AB测试的坑，提升实验效率！