在数据驱动的决策中，AB测试是验证产品迭代效果的核心工具。但很多团队在实验设计阶段就埋下了隐患——样本量估算错误可能导致实验结论完全失真。想象一下：你根据"95%置信度"的结论上线了新功能，实际却因样本不足导致真实置信度只有80%，这种误差带来的业务损失往往是灾难性的。

一、为什么样本量如此重要？

1. 假阳性陷阱：当实际样本量不足时，95%的置信区间可能仅相当于80-90%的可信度。例如：
2. 按钮颜色测试中，误将无效果的红色判定为比蓝色转化率高5%

3. 由于样本不足，这个"显著差异"其实有20%概率是随机波动

4. 假阴性风险：

5. 新算法实际提升了2%留存率，但因样本不够无法检测到差异
6. 导致团队错误放弃有价值的优化方案

二、样本量计算的数学本质

核心公式（比率型指标）：

n = [Z_(1-α/2)√(2p̄(1-p̄)) + Z_(1-β)√(p₁(1-p₁)+p₀(1-p₀))]² / (p₁ - p₀)²

其中： - p₀：对照组转化率（如原版本转化率15%） - p₁：实验组预期转化率（如新版本预期17%） - α：显著性水平（通常取0.05） - β：统计功效（通常取0.8）

关键参数的影响： | 参数 | 变化方向 | 样本量需求 | |------|----------|------------| | 置信水平↑ | 95%→99% | 大幅增加 | | 统计功效↑ | 80%→90% | 中等增加 | | 效应量↓ | 5%→2% | 指数级增加 |

三、Python实现（带智能效应量计算）

from typing import Union
import numpy as np
from scipy import stats

def calculate_sample_size(
    baseline_rate: float,
    mde: float = None,
    expected_rate: float = None,
    alpha: float = 0.05,
    power: float = 0.8,
    is_continuous: bool = False
) -> int:
    """
    计算AB测试所需样本量（每组）

    参数说明：
    baseline_rate: 对照组基准值（比率型0-1，连续型需标准差）
    mde: 最小可检测效应（relative）
    expected_rate: 实验组预期值（与mde二选一）
    alpha: 显著性水平
    power: 统计功效
    is_continuous: 是否连续型指标
    """
    if is_continuous:
        # 连续型指标计算（需baseline_rate传入标准差）
        effect_size = (mde * baseline_rate) / baseline_rate
        return int(round(
            2 * ((stats.norm.ppf(1-alpha/2) + stats.norm.ppf(power)) / effect_size) ** 2
        ))
    else:
        # 比率型指标
        p1 = expected_rate if expected_rate else baseline_rate * (1 + mde)
        pooled_p = (baseline_rate + p1) / 2

        z_alpha = stats.norm.ppf(1 - alpha/2)
        z_beta = stats.norm.ppf(power)

        numerator = (z_alpha * np.sqrt(2 * pooled_p * (1 - pooled_p)) 
                     + z_beta * np.sqrt(baseline_rate*(1-baseline_rate) + p1*(1-p1)))
        return int(round((numerator / (p1 - baseline_rate)) ** 2))

# 示例：检测转化率从20%提升到22%（α=0.05, power=0.8）
print(calculate_sample_size(0.2, mde=0.1))  # 每组需要3923样本

四、小流量场景的工程优化

当自然流量不足时： 1. CUPED技术： - 利用历史数据协变量减少方差 - 可节省30-50%的样本量

# 简化的CUPED实现
adjusted_value = current_value - θ * (covariate - covariate_mean)
θ = cov(current_value, covariate) / var(covariate)

1. 序贯检验：
2. 达到显著性时提前终止实验

3. 需使用特殊检验方法（如SPRT）

4. 分层抽样：

5. 按用户属性分层确保代表性
6. 尤其适合用户行为差异大的场景

五、三大常见避坑指南

1. MDE合理性检查
2. 检测5%的提升需要比检测1%少80%样本

3. 业务角度评估最小有价值差异

4. 多重检验校正

5. 同时测试多个指标时使用Bonferroni校正

   调整后α = 原始α / 检验次数

6. 检验方法误用

7. 比率型指标用z检验而非t检验
8. 小样本(n<30)需用精确检验

六、开放性问题

当用户行为呈幂律分布时（如1%用户贡献80%收入），传统样本量计算假设的独立同分布是否仍然成立？这时候可能需要： - 使用分层抽样确保头部用户代表 - 采用非参数检验方法 - 对长尾部分单独分析

在实际项目中，我们最终发现：样本量计算不是单纯的数学问题，而是需要统计学、工程实现和业务理解的三角平衡。建议每次实验前用本文的代码验证，并记录实际检测效果与预期差异，持续优化估算模型。