背景与核心痛点

AB测试的核心价值在于用数据驱动决策，但在实际落地时往往会遇到三类典型问题：

1. 流量分配问题：
2. 辛普森悖论：分组后各子集效果与总体结论相反
3. 新老用户行为差异导致的样本偏差

4. 动态流量场景下的分配不均（如突发流量高峰）

5. 数据收集问题：

6. 埋点丢失或重复上报（缺乏幂等性设计）
7. 客户端缓存导致的曝光-行为数据割裂

8. 跨平台用户行为路径断裂（如H5与Native切换）

9. 结果分析问题：

10. 多重检验谬误（Multiple Testing Problem）
11. 统计功效不足导致的Type II错误
12. 短期指标与长期目标背离

技术方案选型

主流框架对比

| 方案类型 | 代表产品 | 优点 | 缺点 | |----------------|-------------------|-----------------------------|-----------------------------| | SaaS服务 | Google Optimize | 开箱即用，可视化报表完善 | 数据自主性差，定制成本高 | | 开源框架 | Planout | 支持复杂实验设计 | 需要二次开发，无原生流量控制 | | 自建系统 | 基于Redis+Flask | 完全可控，支持定制算法 | 研发和维护成本较高 |

关键技术决策

1. 流量分层模型：
2. 采用正交分层（Orthogonal Layering）解决实验互斥问题

3. 使用Consistent Hashing实现用户分桶一致性

4. 动态调节算法：

   # 基于bandit算法的动态流量分配
   def dynamic_allocation(metrics):
       alpha = metrics['variant']['conversions'] + 1
       beta = metrics['variant']['samples'] - metrics['variant']['conversions'] + 1
       return beta / (alpha + beta)  # Thompson Sampling

核心实现细节

Python流量路由示例

import hashlib
import redis

class ABTestRouter:
    def __init__(self, redis_conn):
        self.redis = redis_conn

    def get_bucket(self, user_id, experiment_id, bucket_count=100):
        """基于用户ID的稳定分桶算法"""
        hash_key = f"{experiment_id}:{user_id}"
        bucket = int(hashlib.md5(hash_key.encode()).hexdigest()[:8], 16) % bucket_count

        # 检查是否已有粘性分配
        sticky_key = f"exp:{experiment_id}:sticky:{user_id}"
        cached_bucket = self.redis.get(sticky_key)
        if cached_bucket:
            return int(cached_bucket)

        # 新分配时设置粘性        
        self.redis.setex(sticky_key, 86400*30, bucket)  # 30天粘性
        return bucket

Java埋点幂等实现

@Aspect
@Component
public class ExposureAspect {

    @Autowired
    private RedisTemplate<String, String> redisTemplate;

    @Around("@annotation(exposureLog)")
    public Object checkDuplicate(ProceedingJoinPoint pjp, ExposureLog exposureLog) {
        String expId = exposureLog.expId();
        Object[] args = pjp.getArgs();
        String userId = (String) args[0];

        String redisKey = "exp:dedup:" + expId + ":" + userId;
        Boolean isNew = redisTemplate.opsForValue().setIfAbsent(
            redisKey, "1", Duration.ofHours(24));

        if (Boolean.FALSE.equals(isNew)) {
            return null; // 已曝光则跳过
        }

        try {
            return pjp.proceed();
        } catch (Throwable e) {
            redisTemplate.delete(redisKey);
            throw new RuntimeException(e);
        }
    }
}

统计验证体系

显著性检验方法

1. 经典T检验：

   from scipy import stats
   
   def t_test(control, variant):
       """双样本独立T检验"""
       t_stat, p_val = stats.ttest_ind(
           control['conversions'], 
           variant['conversions'],
           equal_var=False
       )
       return {
           'p_value': p_val,
           'significant': p_val < 0.05
       }

2. 贝叶斯方法：

   import pymc3 as pm
   
   with pm.Model() as model:
       # 先验分布
       theta_control = pm.Beta('control', alpha=1, beta=1)
       theta_variant = pm.Beta('variant', alpha=1, beta=1)
   
       # 似然函数
       obs_control = pm.Binomial('obs_control', 
                               n=control_samples, 
                               p=theta_control,
                               observed=control_conversions)
       # ...variant同理
   
       # 计算提升概率
       pm.Deterministic('lift', theta_variant - theta_control)

生产环境避坑指南

常见问题解决方案

1. 新用户偏差：
2. 解决方案：采用Cohort Analysis细分用户群

3. 实施要点：单独分析新用户组的效果指标

4. 实验污染：

5. 解决方案：建立实验互斥规则矩阵

6. 实施要点：通过实验ID哈希前缀实现物理隔离

7. 指标波动：

8. 解决方案：采用CUPED方法降低方差
9. 计算公式：

   adjusted_metric = post_mean - θ*(pre_mean - overall_pre_mean)
   θ = cov(pre,post)/var(pre)

延伸思考：与Feature Flag联动

1. 架构设计：
2. 将AB测试服务作为Feature Flag的下游服务

3. 通过开关策略动态路由流量

4. 典型流程：

5. 功能开关初始设置为0%流量
6. 逐步放开到5%流量进行AA测试
7. 确认基线稳定后启动AB实验

8. 根据实验结果全量或回滚

9. 代码示例：

   @GetMapping("/new-feature")
   public ResponseEntity<?> getFeature({
       @RequestHeader("X-User-ID") String userId) {
   
       if (featureFlagService.isEnabled("new_ui", userId)) {
           // 进入AB测试分流逻辑
           String variant = abTestService.getVariant("new_ui_exp", userId);
           return ResponseEntity.ok(variant);
       }
       return ResponseEntity.notFound().build();
   }

总结建议

1. 监控体系：建立实验实时监控看板，核心指标包括：
2. 样本量分布
3. 核心转化率变化曲线

4. 统计显著性状态

5. 文化培养：

6. 建立实验文档规范（假设、指标、结论）

7. 定期组织实验复盘会

8. 技术债管理：

9. 定期清理过期实验配置
10. 建立实验代码下线机制