从一次尴尬的上线说起

去年我们团队做了一个按钮颜色优化的AB测试，实验组（绿色按钮）比对照组（蓝色按钮）的点击率高出15%（p=0.01）。结果全量上线后，连续两周的数据监控显示实际提升不到2%。这种"实验室有效，生产环境失效"的问题，后来排查发现是样本量不足导致的假阳性。

统计功效的底层原理

1. 统计功效的数学定义

统计功效（Statistical Power）指当备择假设$H_1$为真时，正确拒绝原假设$H_0$的概率，计算公式为： $$\text{Power} = 1 - \beta = P(\text{reject } H_0 | H_1 \text{ is true})$$ 其中$\beta$是第二类错误概率。

2. 两类错误与样本量的关系

• 第一类错误（Type I Error）：假阳性，错误拒绝$H_0$
• 第二类错误（Type II Error）：假阴性，未能拒绝错误的$H_0$

样本量计算公式（以比例检验为例）： $$n = \frac{(Z_{1-\alpha/2} + Z_{1-\beta})^2 \cdot [p_1(1-p_1) + p_0(1-p_0)]}{(p_1 - p_0)^2}$$

3. 多重比较问题

当同时进行多个假设检验时，错误发现率（FDR）会急剧上升。Benjamini-Hochberg方法可有效控制FDR：

1. 将m个检验的p值按从小到大排序
2. 找到最大的k使得$p_{(k)} \leq \frac{k}{m}q$
3. 拒绝前k个原假设

Python实现示例

# 统计功效计算示例
import statsmodels.stats.power as smp

# 参数说明：
# effect_size - 预期效果大小（Cohen'd）
# alpha - 显著性水平（通常0.05）
# power - 期望的功效（通常0.8）
required_n = smp.tt_ind_solve_power(
    effect_size=0.2,  
    alpha=0.05,
    power=0.8,
    ratio=1.0  # 两组样本量比例
)
print(f'所需样本量：{required_n:.0f} per group')

实验系统设计要点

对于日活百万级以上的应用，推荐采用分层抽样架构：

1. 流量分层：按用户属性（地域/设备/活跃度）划分层级
2. 动态路由：通过Redis实时管理用户分组
3. 数据隔离：不同实验共享同一分层时需正交处理

六大避坑指南

1. 识别新奇效应

• 监控指标随时间的变化曲线
• 比较新用户与老用户的响应差异
• 设置足够长的实验周期（通常2-4周）

2. 长期指标选取

• 避免仅依赖即时转化率
• 引入留存率、LTV等长期指标
• 对重要决策设置双重验证期

3. 触发式分析实施

1. 定义用户触发条件（如至少完成一次搜索）
2. 仅分析触发用户的行为数据
3. 对比整体用户与触发用户的指标差异

开放思考题

1. 在快速迭代的压力下，如何确定最小可靠样本量？
2. 当业务方提出"为什么线上效果和测试结果不一致"时，应该展示哪些诊断数据？
3. 对于低频关键行为（如付费转化），应该如何设计实验方案？

最终建议建立实验复核机制，重大改动即使获得显著结果，也应采用渐进式发布策略（如1%→5%→20%→100%）。数据科学不是非黑即白的判断，而需要持续观察和迭代验证。