ABTest实战：用Python计算样本量，避开那些年我们踩过的坑

做ABTest最怕什么？不是方案设计得不够精巧，也不是数据分析跑偏了，而是实验跑了大半个月，最后发现样本量根本不够，得出的结论压根不可信。那种感觉，就像辛辛苦苦盖好了房子，最后发现地基是豆腐渣。我见过太多团队，包括我自己早期，都栽在这个“样本量”的坑里。大家往往把精力花在分流策略、指标定义上，却对实验的“地基”——样本量计算——草草了事，要么凭感觉拍脑袋，要么直接套用网上计算器，对背后的参数一知半解，结果就是实验周期被无限拉长，或者得出误导性的结论。

这篇文章，就是写给那些不想再踩坑的数据分析师和开发者的。我们不谈复杂的统计推导，直接从实战编程的角度出发，手把手教你用Python把样本量计算这件事自动化、精准化。我会分享几个封装好的函数，它们脱胎于我们团队多次ABTest的实战经验，能帮你快速应对比例型（如点击率、转化率）和数值型（如人均时长、客单价）等常见场景。更重要的是，我们会深入讨论那些计算器不会告诉你的“魔鬼细节”：比如如何科学地预估基线指标和预期提升，如何根据业务节奏灵活权衡显著性水平与统计功效，以及当流量有限时有哪些务实的策略。让我们用代码，为每一次实验决策打下坚实可靠的基础。

1. 样本量计算：从理论到Python函数的距离

在动手写代码之前，我们得先搞清楚要往函数里“喂”什么参数。样本量计算的核心公式可能看起来有点吓人，但它的输入参数其实都对应着非常实际的业务决策。

统计功效（Power）：这不是指代码的运行效率，而是指你的实验有多大的把握能检测出真实的差异。通常设为80%或90%。这意味着，如果新旧版本之间确实存在你预期大小的差异，那么你的实验有80%或90%的概率能得出“有显著差异”的结论。设得太低，容易错过真正的效果（第二类错误）；设得太高，则会要求过大的样本量。

显著性水平（Alpha）：这是我们更常听到的“p值”阈值，通常设为5%或1%。它代表你愿意承受的多大的“误报警”风险。即当新旧版本其实没有差异时，你的实验错误地认为有差异的概率（第一类错误）。Alpha设得越小，对结论严谨性的要求就越高，所需的样本量也越大。

基线值（Baseline） 与 预期提升（Minimum Detectable Effect, MDE）：这是最具业务色彩的部分。基线值就是当前版本（对照组）的指标值，比如当前的转化率是2%。预期提升（MDE）则是你希望实验能检测到的最小相对或绝对变化。例如，你希望新策略至少能将转化率提升10%（相对提升）或0.2个百分点（绝对提升）。MDE的设定是一门艺术，它需要平衡商业价值与实验成本。拍脑袋定一个“提升50%”往往不现实，而“提升0.1%”又可能需要天文数字的样本。

下面这个表格，可以帮助你直观理解这些参数如何影响样本量（以比例型指标为例）：

参数	典型取值	对所需样本量的影响	业务含义
统计功效 (1-β)	80%, 90%	功效越高，样本量需求越大	你有多大的把握不“漏报”真实效果
显著性水平 (α)	5%, 1%	α值越小，样本量需求越大	你愿意承受多大的“误报”风险
基线转化率 (p)	依业务而定 (如 0.02)	在相同MDE下，p越接近0.5，样本量需求越大	当前版本的性能基准
预期提升 (MDE)	依业务而定 (如 0.1)	MDE越小，样本量需求越大	你认为有商业价值的最小变化幅度

注意：MDE通常以相对提升（如10%）的方式给出，但在计算时需要转换为绝对变化值。例如，基线转化率2%，预期相对提升10%，则实验组的预期转化率 p1 = 0.02 * (1 + 0.1) = 0.022。

理解了这些，我们就可以把经典的样本量计算公式，封装成即拿即用的Python函数了。我们先从最常见的比例型指标开始。

import math
import scipy.stats as stats

def calculate_sample_size_proportion(baseline_rate, mde_relative, alpha=0.05, power=0.8, ratio=1):
    """
    计算比例型指标（如转化率）AB测试每组的样本量。

    参数:
    baseline_rate (float): 对照组基线转化率，例如0.02表示2%。
    mde_relative (float): 最小可检测效应，相对值。例如0.1表示希望检测到10%的相对提升。
    alpha (float): 显著性水平，默认0.05。
    power (float): 统计功效，默认0.8。
    ratio (float): 实验组与对照组的样本量比例，默认1（两组样本量相等）。

    返回:
    tuple: (对照组样本量, 实验组样本量, 总样本量)
    """
    # 将相对MDE转换为实验组的绝对转化率
    p1 = baseline_rate
    p2 = baseline_rate * (1 + mde_relative)

    # 计算合并比例
    p_pool = (p1 + p2 * ratio) / (1 + ratio)

    # 计算标准正态分布的分位数
    z_alpha = stats.norm.ppf(1 - alpha / 2)  # 双尾检验
    z_beta = stats.norm.ppf(power)

    # 计算样本量（对照组）
    numerator = (z_alpha * math.sqrt(p_pool * (1 - p_pool) * (1 + 1/ratio)) +
                 z_beta * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2) / ratio)) ** 2
    denominator = (p1 - p2) ** 2
    n_control = math.ceil(numerator / denominator)

    n_treatment = math.ceil(n_control * ratio)
    n_total = n_control + n_treatment

    return n_control, n_treatment, n_total

# 使用示例：假设当前转化率2%，期望检测到10%的相对提升
n_control, n_treatment, n_total = calculate_sample_size_proportion(0.02, 0.1)
print(f"对照组所需样本量: {n_control}")
print(f"实验组所需样本量: {n_treatment}")
print(f"实验总样本量: {n_total}")

这个函数直接给出了核心计算逻辑。你可以通过调整 ratio 参数来应对两组流量不均衡的情况（比如为了快速验证，给实验组分配更多流量）。但请记住，两组样本量相等时统计效率最高。

2. 数值型指标与方差估计：另一个战场

当我们的核心指标不是“是否转化”这种0/1变量，而是像“用户平均停留时长”、“订单平均金额”这样的连续数值时，样本量计算就需要换一套方法。这里的关键变量是方差。

数值型数据的波动性（方差）直接影响检测难度。想象一下，用户停留时长的标准差高达30分钟，那么要检测出5分钟的均值提升，就比标准差只有5分钟时困难得多。因此，计算样本量前，你必须对数据的方差有一个合理的估计。

通常，我们可以利用历史数据来估计这个方差：

import numpy as np
import pandas as pd

def estimate_variance_from_history(historical_data_series):
    """
    从历史数据序列中估计方差。
    建议使用近期、同质的历史数据（如过去30天对照组的指标数据）。

    参数:
    historical_data_series (pd.Series or list): 历史指标数据列表。

    返回:
    float: 估计的方差值。
    """
    data_array = np.array(historical_data_series)
    variance = np.var(data_array, ddof=1)  # 使用样本方差（ddof=1）
    return variance

# 示例：假设我们有一组历史客单价数据
historical_order_value = [156, 189, 142, 205, 178, 192, 165, 150, 210, 175]
estimated_var = estimate_variance_from_history(historical_order_value)
print(f"根据历史数据估计的方差为: {estimated_var:.2f}")

有了方差估计，我们就可以计算数值型指标的样本量了：

def calculate_sample_size_continuous(mde_absolute, variance, alpha=0.05, power=0.8, ratio=1):
    """
    计算数值型指标（如均值）AB测试每组的样本量。

    参数:
    mde_absolute (float): 最小可检测效应，绝对值。例如希望检测到客单价提升10元。
    variance (float): 数据的方差估计值。
    alpha (float): 显著性水平，默认0.05。
    power (float): 统计功效，默认0.8。
    ratio (float): 实验组与对照组的样本量比例，默认1。

    返回:
    tuple: (对照组样本量, 实验组样本量, 总样本量)
    """
    # 计算标准正态分布的分位数
    z_alpha = stats.norm.ppf(1 - alpha / 2)
    z_beta = stats.norm.ppf(power)

    # 计算样本量（对照组）
    n_control = math.ceil(
        (variance * (1 + 1/ratio) * (z_alpha + z_beta) ** 2) / (mde_absolute ** 2)
    )

    n_treatment = math.ceil(n_control * ratio)
    n_total = n_control + n_treatment

    return n_control, n_treatment, n_total

# 使用示例：希望检测到客单价提升15元，历史方差估计为500
n_control, n_treatment, n_total = calculate_sample_size_continuous(15, 500)
print(f"数值型指标实验，对照组所需样本量: {n_control}")
print(f"数值型指标实验，实验组所需样本量: {n_treatment}")

提示：对于数值型指标，MDE通常使用绝对值更直观。但务必确保方差估计的准确性。如果业务指标近期有较大变化，使用过于陈旧的历史数据估计方差会导致样本量计算严重失准。

3. 实战中的参数抉择与策略调优

知道了怎么算，下一步就是解决“怎么定参数”这个更棘手的问题。直接套用行业标准（α=0.05, power=0.8）有时并不合适。

场景一：探索性实验 vs 决策性实验

• 探索性实验：你有一个大胆的新想法，想快速验证其是否有正向苗头。此时可以适当放宽标准，例如采用 α=0.1，power=0.7。这样可以在更小的样本量、更短的周期内得到初步信号，用于决定是否值得投入资源做更严谨的实验。

  # 探索性实验参数设置
  n_exp_control, _, n_exp_total = calculate_sample_size_proportion(0.02, 0.15, alpha=0.1, power=0.7)
  print(f"探索性实验（宽松标准）总样本量需求: {n_exp_total}")
  

• 决策性实验：这个实验的结果将直接决定是否全量上线一个新功能或策略。此时必须严格，通常采用 α=0.05，甚至 α=0.01（如果误判成本极高），power=0.9 或 0.95。

场景二：流量饥渴时的应对策略 当计算出的样本量远超你每天可获得的自然流量时，不要绝望，可以尝试以下策略：

1. 重新审视MDE：与业务方沟通，最初设定的提升幅度是否过于保守？将MDE从10%调整到15%，样本量需求会呈平方级下降。

   # 对比不同MDE下的样本量差异
   for mde in [0.08, 0.10, 0.15]:
       _, _, n = calculate_sample_size_proportion(0.02, mde)
       print(f"MDE为{mde*100:.0f}%时，总样本量需求: {n}")
   

2. 延长实验周期：这是最直接的方法，但需注意时间过长带来的“季节性”或“外部因素”干扰。
3. 转向序贯检验或贝叶斯方法：这些方法允许在数据积累过程中持续监控，可能在不增加第一类错误的前提下，更早地停止实验（无论是因为效果显著还是效果无望）。但这需要更复杂的统计框架支持。

一个常被忽略的要点：样本量是“每个周期”的需求吗？ 对于像转化率这样的指标，样本量指的是独立用户数（或独立事件数），而不是页面浏览量（PV）。如果你的实验单元是用户，那么一个用户无论进入实验页面多少次，也只贡献一个样本。在计算日流量时，务必使用独立访客（UV）数据作为基准。

4. 构建你的样本量计算与评估工具箱

将上述函数组装起来，并添加一些实用功能，就能形成一个强大的工具箱。例如，一个可以同时评估多种参数组合影响的函数：

def sample_size_sensitivity_analysis(baseline_rate, mde_range, alpha_range, power_range):
    """
    执行样本量敏感性分析，生成参数组合表格。

    参数:
    baseline_rate (float): 基线转化率。
    mde_range (list): MDE相对值的范围列表，如 [0.05, 0.1, 0.15]。
    alpha_range (list): 显著性水平列表，如 [0.01, 0.05]。
    power_range (list): 统计功效列表，如 [0.8, 0.9]。

    返回:
    pd.DataFrame: 包含不同参数组合下样本量的数据框。
    """
    results = []
    for mde in mde_range:
        for alpha in alpha_range:
            for power in power_range:
                n_control, _, n_total = calculate_sample_size_proportion(
                    baseline_rate, mde, alpha, power
                )
                results.append({
                    'Baseline': baseline_rate,
                    'MDE (相对)': mde,
                    'Alpha': alpha,
                    'Power': power,
                    '样本量_每组': n_control,
                    '样本量_总计': n_total
                })
    return pd.DataFrame(results)

# 执行分析
df_sensitivity = sample_size_sensitivity_analysis(
    baseline_rate=0.03,
    mde_range=[0.05, 0.08, 0.12],
    alpha_range=[0.05, 0.01],
    power_range=[0.8, 0.9]
)
print(df_sensitivity.to_string(index=False))

这个分析能一目了然地告诉你，追求更高的严谨性（更小的α，更大的power）或更细微的检测效果（更小的MDE），需要付出多少额外的样本量成本。在实验规划会上，这张表是和技术、产品同学沟通资源投入的绝佳依据。

另外，在实验进行中，我们还需要一个快速检查工具，来评估当前积累的样本量是否“足够”：

def check_power_given_sample_size(baseline_rate, mde_relative, alpha, n_per_group):
    """
    在给定样本量下，反推当前实验的统计功效。

    参数:
    baseline_rate, mde_relative, alpha: 同前。
    n_per_group (int): 当前每组已收集的样本量。

    返回:
    float: 当前的统计功效。
    """
    p1 = baseline_rate
    p2 = baseline_rate * (1 + mde_relative)
    p_pool = (p1 + p2) / 2

    se = math.sqrt(p_pool * (1 - p_pool) * (2 / n_per_group))
    z_effect = (p2 - p1) / se
    z_alpha = stats.norm.ppf(1 - alpha / 2)

    # 计算功效
    power = stats.norm.cdf(z_effect - z_alpha)
    return power

# 示例：实验原计划检测10%提升，每组已收集5000样本，看当前功效如何
current_power = check_power_given_sample_size(0.02, 0.1, 0.05, 5000)
print(f"在当前样本量下，检测10%提升的功效约为: {current_power:.2%}")

如果发现功效远低于预期（比如只有60%），那么你就需要严肃考虑是继续扩大样本量，还是接受当前实验结论不确定性很高的事实。

最后，把这些工具整合到一个类里，会让日常使用更加方便：

class ABTestSampleSizeCalculator:
    """AB测试样本量计算与评估工具箱。"""
    
    def __init__(self):
        pass
    
    def for_proportion(self, baseline, mde_rel, **kwargs):
        """比例型指标入口。"""
        return calculate_sample_size_proportion(baseline, mde_rel, **kwargs)
    
    def for_continuous(self, mde_abs, variance, **kwargs):
        """数值型指标入口。"""
        return calculate_sample_size_continuous(mde_abs, variance, **kwargs)
    
    def analyze_sensitivity(self, **kwargs):
        """敏感性分析。"""
        return sample_size_sensitivity_analysis(**kwargs)
    
    def estimate_current_power(self, baseline, mde_rel, alpha, n_per_group):
        """评估当前样本量下的功效。"""
        return check_power_given_sample_size(baseline, mde_rel, alpha, n_per_group)

# 实战使用流程
calculator = ABTestSampleSizeCalculator()

# 1. 设计阶段：计算样本量
print("=== 实验设计阶段 ===")
n_ctrl, n_trt, n_total = calculator.for_proportion(0.025, 0.12, power=0.9)
print(f"建议样本量: 每组{n_ctrl}， 总计{n_total}")

# 2. 规划阶段：做敏感性分析，准备沟通
print("\n=== 敏感性分析（用于资源沟通）===")
df_sens = calculator.analyze_sensitivity(
    baseline_rate=0.025,
    mde_range=[0.08, 0.12, 0.18],
    alpha_range=[0.05],
    power_range=[0.8, 0.9]
)
print(df_sens[['MDE (相对)', 'Power', '样本量_总计']].to_string(index=False))

# 3. 进行中：监控样本积累与功效
print("\n=== 实验进行中监控 ===")
if n_total > 100000:
    print("所需总样本量较大，建议每周检查进度。")
# 假设实验跑了一周，每组积累了3000样本
week1_power = calculator.estimate_current_power(0.025, 0.12, 0.05, 3000)
print(f"第一周后，当前统计功效约为: {week1_power:.1%}。")
if week1_power < 0.5:
    print("警告：当前功效很低，需关注流量注入速度或重新评估MDE。")

我自己的经验是，把这套代码封装成一个团队内部共享的Python包或Jupyter Notebook模板。每次启动新实验前，产品经理、数据分析师和工程师坐在一起，调整参数，跑一下这个工具，大家对实验成本、周期和风险立刻就有了共识，能避免很多后续的扯皮。样本量计算不再是黑盒，而是一个透明的、可协作的决策过程。