---

作为数据工程师，我们经常需要通过AB测试来验证产品迭代的效果。但你知道吗？在AB测试中，统计上的两类错误可能导致我们做出完全错误的决策。今天我就来聊聊这两类错误到底是什么，以及如何避免它们带来的陷阱。

1. 背景痛点：两类错误带来的业务损失

在实际工作中，我们经常会遇到这样的情况：

• 明明新功能没有实际效果，但测试结果显示"显著提升"，导致团队投入资源推广了一个无效方案（Type I错误）
• 或者相反，一个真正有效的改进因为测试数据"不显著"而被放弃（Type II错误）

这两类错误都可能给业务带来巨大损失。比如某电商平台曾因为Type I错误，错误地认为新的推荐算法能提升10%转化率，结果大规模上线后实际效果为0，白白浪费了开发资源和推广费用。

2. 统计原理：理解两类错误

两类错误的数学定义很简单：

• Type I错误（α）：原假设为真时拒绝原假设的概率 $$P(\text{拒绝}H_0|H_0\text{为真}) = \alpha$$

• Type II错误（β）：原假设为假时接受原假设的概率 $$P(\text{接受}H_0|H_0\text{为假}) = \beta$$

统计功效(1-β)表示当备择假设为真时正确拒绝原假设的概率。一般来说，我们希望保持α在0.05以下，同时保证功效在0.8以上。

3. 代码实战：蒙特卡洛模拟

让我们用Python来模拟不同样本量下两类错误的变化规律：

import numpy as np
from scipy import stats

def monte_carlo_sim(sample_size, effect_size, n_sim=10000, alpha=0.05):
    """蒙特卡洛模拟两类错误"""
    type1_errors = 0
    type2_errors = 0

    for _ in range(n_sim):
        # 控制组
        control = np.random.normal(0, 1, sample_size)
        # 实验组（有真实效果）
        treatment = np.random.normal(effect_size, 1, sample_size)

        # 检验无效果的情况（Type I错误）
        _, p1 = stats.ttest_ind(control, control)
        if p1 < alpha:
            type1_errors += 1

        # 检验真实效果的情况（Type II错误）
        _, p2 = stats.ttest_ind(control, treatment)
        if p2 >= alpha:
            type2_errors += 1

    return type1_errors/n_sim, type2_errors/n_sim

# 不同样本量下的模拟
sample_sizes = [50, 100, 200, 500, 1000]
results = {n: monte_carlo_sim(n, effect_size=0.2) for n in sample_sizes}

for size, (type1, type2) in results.items():
    print(f"样本量{size}: Type I错误率{type1:.3f}, Type II错误率{type2:.3f}, 功效{1-type2:.3f}")

4. 工程方案：样本量计算器

实际项目中，我们需要提前计算所需样本量。可以使用statsmodels库：

from statsmodels.stats.power import tt_ind_solve_power

# 计算所需样本量
# 参数：effect_size(效应大小), alpha, power(功效), ratio(两组样本比)
required_n = tt_ind_solve_power(
    effect_size=0.2, 
    alpha=0.05, 
    power=0.8, 
    ratio=1.0
)
print(f"每组需要样本量: {int(np.ceil(required_n))}")

背后的公式推导基于t检验的统计功效函数：

$$n = \frac{2(\sigma^2)(Z_{1-\alpha/2} + Z_{1-\beta})^2}{\Delta^2}$$

其中Δ是我们希望检测的最小效应量(MDE)。

5. 避坑指南

在AB测试实践中，我发现新手常犯以下错误：

• 忽略MDE(最小可检测效应)：没有明确测试要检测的最小效应量，导致样本量不足

• 未控制多重比较：同时测试多个指标时，不做校正会增加Type I错误

• 误解p值含义：p<0.05并不意味着有95%的概率备择假设为真

应对策略：

1. 测试前明确MDE并计算所需样本量
2. 使用Bonferroni校正等方法控制多重比较
3. 正确理解p值只是数据与原假设不一致程度的度量

6. 延伸思考

在连续观测场景(如连续多天的AB测试)中，传统频率学派方法可能不再适用。这时可以考虑：

• 使用序贯检验方法
• 采用贝叶斯方法逐步更新信念

贝叶斯方法与频率学派的主要差异在于：

• 频率学派：参数是固定的，数据是随机的
• 贝叶斯学派：数据是固定的，参数是随机的

进一步学习

如果想深入了解AB测试和统计推断，我推荐：

1. 《Trustworthy Online Controlled Experiments》- Ron Kohavi
2. 《Statistical Rethinking》- Richard McElreath
3. 《Bayesian Methods for Hackers》- Cameron Davidson-Pilon

希望这篇笔记能帮助你更好地理解AB测试中的统计陷阱，做出更可靠的数据驱动决策！