在数据驱动的产品迭代中，AB测试是验证假设的黄金标准。但实际操作时，很多团队会遇到实验结果波动大、结论不可信的问题。今天结合实战经验，聊聊如何规范AB测试全流程。

一、为什么你的AB测试总翻车？

遇到过这些情况吗？

• 实验组突然流量暴涨，结果发现是运营活动干扰
• 报表显示转化率提升10%，实际业务指标却下降
• 同一个实验连续跑三次，每次结论都不一样

这些问题通常源于三个核心痛点：

1. 实验污染：外部事件或功能耦合影响核心指标
2. 样本偏差：流量分配不均导致组间基线差异
3. 多重检验：反复查看数据导致假阳性率飙升

二、关键技术方案选型

2.1 流量分配：分层抽样 vs 哈希分桶

• 分层抽样适合：
• 用户属性差异大的场景（如新老用户）
• 需要保证细分人群比例一致时

• 实现示例：

  # 按用户等级分层抽样
  def assign_group(user_id, user_tier):
      strata_seed = hash(f"{user_tier}_{user_id}") % 1000
      return "A" if strata_seed < 500 else "B"

• 哈希分桶适合：

• 需要严格流量隔离的场景
• 长期追踪用户行为时
• 时间复杂度O(1)的经典实现：

  // 基于用户ID的稳定分桶
  public String getBucket(String userId) {
      int bucket = Math.abs(userId.hashCode()) % 100;
      return bucket < 50 ? "control" : "treatment";
  }

2.2 警惕辛普森悖论

当分组数据与整体数据趋势相反时，就遇到了辛普森悖论。比如：

| 用户群 | 对照组转化率 | 实验组转化率 | |--------|--------------|--------------| | 安卓 | 15% → 20% | 18% → 22% | | iOS | 25% → 28% | 22% → 25% | | 汇总 | 20% → 24% | 20% → 23% |

解决方案： 1. 实验前进行分层随机化 2. 结果分析时检查各细分维度 3. 使用CUPED等方差缩减技术

三、生产级实现规范

3.1 实验配置模板

{
  "experiment_id": "checkout_redesign_2023",
  "traffic_allocation": 0.3,
  "bucketing_key": "user_id",
  "layers": ["payment", "ui"],
  "primary_metric": "conversion_rate",
  "guardrail_metrics": ["avg_order_value", "refund_rate"],
  "required_sample_size": 10000,
  "minimum_duration": "7d"
}

3.2 流量路由服务

关键实现逻辑：

class ExperimentEngine:
    def __init__(self, config):
        self.salt = config.get("salt", "default_salt")

    def get_variant(self, user_id, experiment_id):
        # 稳定分桶算法
        hash_key = f"{experiment_id}_{user_id}_{self.salt}"
        bucket = hash(hash_key) % 1000

        if bucket < 100:  # 10% 对照组
            return "control"
        elif bucket < 600:  # 50% 方案A
            return "treatment_a"
        else:  # 40% 方案B
            return "treatment_b"

四、生产环境特别注意事项

4.1 实验周期设计

• 避免新鲜度偏差：新功能上线初期用户行为不稳定
• 电商至少跑满2个完整周末

• 内容产品需要覆盖高低活跃周期

• 样本量计算公式：

  所需样本量 = 16 * σ² / Δ² 
  （σ=标准差，Δ=预期提升幅度）

4.2 监控指标体系

| 指标类型 | 示例 | 监控频率 | |----------------|-----------------------|-----------| | 核心指标 | 转化率、GMV | 实时 | | 护栏指标 | 崩溃率、API延迟 | 5分钟 | | 用户体验指标 | 页面停留时间 | 小时 |

五、常见避坑指南

5.1 正交实验设计

当多个实验同时运行时：

1. 建立实验分层体系（如UI层、算法层）
2. 使用不同的分桶维度
3. 通过实验矩阵管理流量交集

5.2 处理样本偏差

• 自选择偏差：高活跃用户更可能触发实验曝光
• 解决方案：基于用户注册时间分片分析
• 留存用户效应：老用户对新功能不敏感
• 解决方案：单独分析新用户子集

六、开放性问题

当新功能同时影响转化率和客单价时，你会如何设计评价指标体系？可以考虑：

• 建立综合得分（如转化率权重40% + 客单价权重60%）
• 使用利润作为终极指标
• 分用户群差异化评估

希望这份指南能帮助大家少走弯路。AB测试就像科学实验，严谨的设计规范才能产出可信的结论。